将table的所有数据（既有编码数据）转换为utf8或latin1的单一编码

Question

我们有一个由两种不同的编码数据（utf8和latin1）组成的表，这两种编码数据是从两个不同的应用程序用例中插入的。如果我们以一种编码获得数据，我们会遇到其他语言文本的字符串问题。我们需要将总的表数据转换为单一编码。

例如：表X编码的id名称数据

如果我们使用“latin1”连接字符集，我们会遇到“ébarber”（断字符串）的问题。如果我们使用“utf8”连接字符集，我们就会遇到“a gogo”（断串）的问题。

我们如何将该表数据转换为utf8或latin1的单一编码<请分享您对解决此问题的想法。

Answer 1

有可能。但很痛苦。

1. 转换为BINARY
2. 确定哪些行包含哪些编码。这可以自动化，但可能不是100%正确。
3. 对这些行执行特殊的UPDATE。
4. 转换为utf8。

细节：

第1步：转换为二进制：

ALTER TABLE Tbl MODIFY COLUMN col VARBINARY(...) ...; -- with suitable matching other stuff, or
ALTER TABLE Tbl MODIFY COLUMN col BLOB ...;  -- if it were TEXT.

第2步：查找拉丁文1行（否定以下内容）：

<代码>选择十六进制（列） 提取十六进制用于下面的regexp

此正则表达式检查utf8（实际上是utf8mb4）：

/^(
     [\xC2-\xDF] [\x80-\xBF]

   |  \xE0[\xA0-\xBF][\x80-\xBF]
   | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}
   |  \xED[\x80-\x9F][\x80-\xBF]

   |  \xF0[\x90-\xBF][\x80-\xBF]{2}
   | [\xF1-\xF3][\x80-\xBF]{3}
   |  \xF4[\x80-\x8F][\x80-\xBF]{2}
)+/ox

结合这些应该可以告诉您一行是否可能是utf8。

第3步：将列（列）从latin1编码转换为utf8：

CONVERT(CONVERT(col USING latin1) USING utf8)

第4步：将其设置为utf8：

ALTER TABLE Tbl MODIFY COLUMN col VARCHAR(...) ... CHARACTER SET utf8 ...; -- or
ALTER TABLE Tbl MODIFY COLUMN col TEXT ... CHARACTER SET utf8 ...;

警告虽然我告诉你们的内容的各个部分都是有效的，但拼凑在一起的组合还没有经过测试。我强烈怀疑会有某种形式的打嗝。