Python 3：os.walk（）文件路径UnicodeEncodeError：'utf-8'编解码器不能编码：不允许代理

Question

此代码：

for root, dirs, files in os.walk('.'):
    print(root)

给我这个错误：

UnicodeEncodeError: 'utf-8' codec can't encode character '\udcc3' in position 27: surrogates not allowed

如何在文件树中穿行而不产生这样的有毒字符串？

Answer 1

尝试使用这行代码：

"bad string".encode('utf-8', 'replace').decode()

Answer 2

我最终传递了一个字节串到os.walk（），它显然会返回字节串，而不是不正确的Unicode字符串

for root, dirs, files in os.walk(b'.'):
    print(root)

Answer 3

在Linux上，文件名“只是一堆字节”，不一定以特定的编码方式进行编码。Python3尝试将所有内容转换为Unicode字符串。在这样做的过程中，开发人员提出了一种方案，可以将字节字符串转换为Unicode字符串，然后再转换回来，而不会丢失，并且不知道原始编码。他们使用部分代理对“坏”字节进行编码，但在打印到终端时，普通UTF8编码器无法处理这些字节。

例如，下面是一个非UTF8字节字符串：

>>> b'C\xc3N'.decode('utf8','surrogateescape')
'C\udcc3N'

它可以在不丢失的情况下与Unicode进行转换：

>>> b'C\xc3N'.decode('utf8','surrogateescape').encode('utf8','surrogateescape')
b'C\xc3N'

但它无法打印：

>>> print(b'C\xc3N'.decode('utf8','surrogateescape'))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'utf-8' codec can't encode character '\udcc3' in position 1: surrogates not allowed

您必须弄清楚您想对具有非默认编码的文件名做什么。也许只是将它们编码回原始字节，并用未知的替换进行解码。使用此显示，但保留原始名称以访问文件。

>>> b'C\xc3N'.decode('utf8','replace')
C�N

os。walk还可以获取字节字符串，并将返回字节字符串而不是Unicode字符串：

for p,d,f in os.walk(b'.'):

然后你可以随心所欲地解码。