将熊猫df写入csv时的Unicode编码错误

Question

我清理了400个excel文件，使用pandas将它们读入python，并将所有原始数据附加到一个大df中。

然后，当我尝试将其导出到csv时：

df.to_csv("path",header=True,index=False)

我得到这个错误：

UnicodeEncodeError: 'ascii' codec can't encode character u'\xc7' in position 20: ordinal not in range(128)

有人能提出一个解决这个问题的方法吗？这意味着什么？

谢谢

Answer 1

添加一个答案来帮助自己稍后谷歌一下：

帮助我的一个技巧是先对有问题的序列进行编码，然后将其解码回utf-8。比如：

df['crumbs'] = df['crumbs'].map(lambda x: x.encode('unicode-escape').decode('utf-8'))

这将使数据框也能正确打印。

Answer 2

数据帧中有unicode值。文件存储字节，这意味着所有unicode必须先编码为字节，然后才能存储在文件中。必须指定编码，例如utf-8。例如

df.to_csv('path', header=True, index=False, encoding='utf-8')

如果未指定编码，则使用df使用的编码。to_csv在Python2中默认为ascii，或者在Python3中默认为utf-8。