在CP-1252 / ANSI读取上的Python 3扼流圈

Question

我正在处理一系列解析器，在这些解析器中，我的单元测试中有很多回溯，例如：

  File "c:\Python31\lib\encodings\cp1252.py", line 23, in decode
    return codecs.charmap_decode(input,self.errors,decoding_table)[0]
UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 112: character maps to <undefined>

使用open（）打开文件，没有多余的争辩。我可以将额外的参数传递给open（）还是使用编解码器模块中的某些内容以不同的方式打开这些参数？

这带来了用Python 2编写的代码，并使用2to3工具将其转换为3。

更新：事实证明，这是由于将zipfile输入解析器而导致的。单元测试实际上预计会发生这种情况。解析器应将其识别为无法解析的内容。因此，我需要更改异常处理。现在正在这样做。

Answer 1

在Windows-1252（aka cp1252）中未分配位置0x81。它在Latin-1（aka ISO 8859-1）中分配给U + 0081 HIGH
OCTET PRESET（HOP）控制字符。我可以像这样在Python 3.1中重现您的错误：

>>> b'\x81'.decode('cp1252')
Traceback (most recent call last):
  ...
UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 0: character maps to <undefined>

或带有实际文件：

>>> open('test.txt', 'wb').write(b'\x81\n')
2
>>> open('test.txt').read()
Traceback (most recent call last):
  ...
UnicodeDecodeError: 'utf8' codec can't decode byte 0x81 in position 0: unexpected code byte

现在将此文件视为Latin-1，您可以传递encoding参数，例如codeape建议：

>>> open('test.txt', encoding='latin-1').read()
'\x81\n'

注意Windows-1257和Latin-1编码之间存在差异，例如Latin-1没有“智能引号”。如果您正在处理的文件是文本文件，请问自己\x81在其中执行的操作。