我有一个套接字服务器,应该从客户端接收UTF-8有效字符。
问题是某些客户端(主要是黑客)正在通过它发送所有错误的数据。
我可以轻松地区分真正的客户端,但是我会将所有发送的数据记录到文件中,以便以后进行分析。
有时我会收到这样的字符œ,从而导致UnicodeDecodeError
错误。
我需要使字符串UTF-8带有或不带有这些字符。
更新:
对于我的特殊情况,套接字服务是MTA,因此我只希望接收ASCII命令,例如:
EHLO example.com
MAIL FROM: <john.doe@example.com>
...
我将所有这些都记录在JSON中。
然后,一些没有好主意的人决定出售各种垃圾。
这就是为什么对于我的特定情况,完全可以剥离非ASCII字符。
http://docs.python.org/howto/unicode.html#the-unicode-type
str = unicode(str, errors='replace')
要么
str = unicode(str, errors='ignore')
注意: 这将删除(忽略)有问题的字符,并返回不包含这些字符的字符串。
对我来说,这是理想的情况,因为我将其用作针对非ASCII输入的保护,这是我的应用程序所不允许的。
或者:使用codecs模块中的open方法读取文件:
import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
errors='ignore') as fdata:
问题内容: 我有一个套接字服务器,应该从客户端接收UTF-8有效字符。 问题是某些客户端(主要是黑客)正在通过它发送所有错误的数据。 我可以轻松地区分真正的客户端,但是我会将所有发送的数据记录到文件中,以便以后进行分析。 有时我会得到这样的导致错误的字符。 我需要能够使带有或不带有这些字符的字符串UTF-8。 更新: 对于我的特殊情况,套接字服务是MTA,因此我只希望接收ASCII命令,例如: 我
我有一个套接字服务器,它应该从客户端接收UTF-8有效字符。 问题是一些客户端(主要是黑客)正在通过它发送所有错误类型的数据。 我可以很容易地分辨出真正的客户机,但我会将发送的所有数据记录到文件中,以便以后进行分析。 有时我会遇到这样的字符,导致UnicodeDecodeError错误。 我需要能够使字符串UTF-8有或没有这些字符。 更新: 对于我的特殊情况,套接字服务是MTA,因此我只希望接收
我试图在Python pandas中做一些数据工作,但在写出结果时遇到了麻烦。我以CSV文件的形式读取数据,并将每个脚本导出为它自己的CSV文件,这很好地工作。虽然最近我试着用工作表导出一个Excel文件中的所有内容,但有几个工作表给了我一个错误 “'UTF8'编解码器无法解码位置1中的字节0xE9:无效的连续字节” 我甚至不知道如何开始查找任何可能导致导出到Excel的问题的字符。不知道为什么它
问题内容: 我想制作搜索引擎,并按照某些网络中的教程进行操作。我想测试解析html 它得到错误 我在网上看到了一些使用encode()的解决方案。但是我不知道如何在代码中插入encode()函数。谁能帮我? 问题答案: 在Python 3中,文件会以文本(解码为Unicode)的形式为您打开。您无需告诉BeautifulSoup要解码的编解码器。 如果数据解码失败,那是因为您没有告诉调用文件读取文
问题内容: 我正在尝试检查许多网站的页面上是否有某个单词。该脚本可以在15个站点上正常运行,然后停止。 UnicodeDecodeError:’utf8’编解码器无法解码位置15344处的字节0x96:无效的起始字节 我在stackoverflow上进行了搜索,发现了很多问题,但似乎无法理解我的情况出了什么问题。 我想解决它,或者如果有错误,请跳过该站点。请为我提供新手建议,下面的代码本身花了我一
问题内容: 我正在使用Python-2.6 CGI脚本,但是在执行服务器日志时发现此错误, 这里 函数返回。 张贴这个问题之前我已经提到这个问题,操作系统,所以的。 更新 下一行损害了JSON编码器, 我有一个临时解决方案 但是我不确定这样做是否正确。 问题答案: 该错误是因为字典中存在一些非ASCII字符,并且无法对其进行编码/解码。避免此错误的一种简单方法是使用encode()如下函数对此类字