UnicodeDecodeError:“utf8”编解码器无法解码位置0中的字节0xa5:无效的开始字节

Question

我正在使用Python-2.6 CGI脚本，但在执行json.dumps（）时在服务器日志中发现此错误，

Traceback (most recent call last):
  File "/etc/mongodb/server/cgi-bin/getstats.py", line 135, in <module>
    print json.dumps(​​__get​data())
  File "/usr/lib/python2.7/json/__init__.py", line 231, in dumps
    return _default_encoder.encode(obj)
  File "/usr/lib/python2.7/json/encoder.py", line 201, in encode
    chunks = self.iterencode(o, _one_shot=True)
  File "/usr/lib/python2.7/json/encoder.py", line 264, in iterencode
    return _iterencode(o, 0)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xa5 in position 0: invalid start byte

​在这里

__getdata（）函数返回字典{}。

在发布此问题之前，我已将此问题提交给了SO。

下面这行代码伤害了JSON编码器，

now = datetime.datetime.now()
now = datetime.datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ')
print json.dumps({'current_time': now}) # this is the culprit

我找到了一个临时的解决办法

print json.dumps( {'old_time': now.encode('ISO-8859-1').strip() })

但是我不确定这样做是否正确。

Answer 1

错误是因为字典中有一些非ascii字符，它不能被编码/解码。避免此错误的一个简单方法是使用encode（）函数对这些字符串进行编码，如下所示（如果a是非ascii字符的字符串）：

a.encode('utf-8').strip()

Answer 2

尝试以下代码片段：

with open(path, 'rb') as f:
  text = f.read()

Answer 3

我只需在read\u csv（）命令中定义一个不同的编解码器包，就可以实现这一点：

encoding='unicode\u escape'

例如：

import pandas as pd
data = pd.read_csv(filename, encoding= 'unicode_escape')