UnicodeDecodeError:“utf8”编解码器无法解码字节0x9c

Question

我有一个套接字服务器，它应该从客户端接收UTF-8有效字符。

问题是一些客户端（主要是黑客）正在通过它发送所有错误类型的数据。

我可以很容易地分辨出真正的客户机，但我会将发送的所有数据记录到文件中，以便以后进行分析。

有时我会遇到这样的字符，导致UnicodeDecodeError错误。

我需要能够使字符串UTF-8有或没有这些字符。

更新：

对于我的特殊情况，套接字服务是MTA，因此我只希望接收ASCII命令，例如：

EHLO example.com
MAIL FROM: <[e-mail]>
...

我在JSON中记录了所有这些。

然后，一些没有善意的人决定发送各种各样的垃圾。

这就是为什么在我的特定情况下，完全可以去掉非ASCII字符。

Answer 1

现在我已经转到Python3，这类问题突然出现。我不知道Python2只是简单地解决了文件编码的任何问题。

我发现这是一个很好的解释，说明了这些差异，以及如何在以上这些都不适用于我的情况下找到解决方案。

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

简而言之，要使Python 3的行为尽可能类似于Python 2，请使用：

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

然而，阅读这篇文章，没有一个一刀切的解决方案。

Answer 2

将引擎从C更改为Python为我做到了这一点。

发动机为C：

pd.read_csv(gdp_path, sep='\t', engine='c')

UTF-8编解码器无法解码位置18的字节0x92：无效的开始字节

引擎是Python：

pd.read_csv(gdp_path, sep='\t', engine='python')

我没有错误。

Answer 3

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

或者

str = unicode(str, errors='ignore')

注意：这将删除（忽略）返回字符串时没有返回的字符。

对我来说，这是一个理想的情况，因为我使用它来保护我的应用程序不允许的非ASCII输入。

或者：使用编解码器模块中的open方法读取文件：

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata: