从双UTF-8到UTF-8（或从UTF-8到ANSI）的“原始”转换

Question

我正在处理一个使用UTF-8编码了两次的遗留文件。例如，编码点ε（u03b5）本应编码为ceb5，但改为编码为c38ec2b5（ce8e是u00ce的UTF-8编码，c2b5是u00b5的UTF-8编码）。

假设数据在CP-1252中编码，则执行第二次编码。

为了回到UTF-8编码，我使用了以下（似乎错误）命令

iconv --from utf8 --to cp1252 <file.double-utf8 >file.utf8

我的问题是iconv似乎无法转换回一些字符。更准确地说，iconv无法转换UTF-8表示形式包含映射到CP-1252中控制字符的字符。一个例子是代码点ρ（u03c1）：

• 它的UTF-8编码是CF 81，
• 第一个字节CF被重新编码为C3 8F，
• 第二个字节81被重新编码为C2 81。

iconv拒绝将C2 81转换回81，可能是因为它不知道如何精确映射该控制字符。

echo -e -n '\xc3\x8f\xc2\x81' | iconv --from utf8 --to cp1252
�iconv: illegal input sequence at position 2

我如何告诉iconv只执行数学UTF-8转换而不关心映射？

Answer 1

下面的代码使用Ruby的低级编码函数强制将双编码UTF-8（来自CP1525）重写为普通UTF-8。

#!/usr/bin/env ruby

ec = Encoding::Converter.new(Encoding::UTF_8, Encoding::CP1252)

prev_b = nil

orig_bytes = STDIN.read.force_encoding(Encoding::BINARY).bytes.to_a
real_utf8_bytes = ""
real_utf8_bytes.force_encoding(Encoding::BINARY)

orig_bytes.each_with_index do |b, i|
    b = b.chr

    situation = ec.primitive_convert(b.dup, real_utf8_bytes, nil, nil, Encoding::Converter::PARTIAL_INPUT)

    if situation == :undefined_conversion
            if prev_b != "\xC2"
                    $stderr.puts "ERROR found byte #{b.dump} in stream (prev #{(prev_b||'').dump})"
                    exit
            end

            real_utf8_bytes.force_encoding(Encoding::BINARY)
            real_utf8_bytes << b
            real_utf8_bytes.force_encoding(Encoding::CP1252)
    end

    prev_b = b
end

real_utf8_bytes.force_encoding(Encoding::BINARY)
puts real_utf8_bytes

它用于管道中：

cat $PROBLEMATIC_FILE | ./fix-double-utf8-encoding.rb > $CORRECTED_FILE

Answer 2

echo -e -n '\xc3\x8f\xc2\x81' | iconv --from utf8 --to iso8859-1

Windows-1252在0x80-0x9F范围内与ISO-8859-1不同。例如，在您的例子中，0x81在ISO 8859-1中是U 0081，但在Windows-1252中无效。

检查您的其余数据是否被误解为Windows-1252或ISO 8859-1。通常，ISO 8859-1更为常见。