如何过度应用"utf-8"在熊猫数据框中打开csv/txt文件？

Question

我试图从特定文件路径的文本文件导入数据，但我得到错误'utf-8'编解码器不能解码字节0xa5在位置18：无效的开始字节

我的问题是，无论如何，我可以将“utf-8”编码应用于所有最终必须打开的文本文件（大约20个其他文件），以便防止上述错误？

代码：

import pandas as pd
filelist = [r'D:/file1',r'D:/file2']
print (len((pd.concat([pd.read_csv(item, names=[item[:-4]]) for item in filelist],axis=1))))

如果我做错了什么，我也愿意接受任何建议。

先谢谢你。

Answer 1

不知道在python中自动转换为utf-8编码的解决方案。

或者，您可以找出编码是什么，并相应地阅读它。然后以utf-8格式写入文件。

此解决方案对我的文件很有效（credit maxnoe）

import chardet
import pandas as pd

with open('filename.csv', 'rb') as f:
    result = chardet.detect(f.read())  # or readline if the file is large

pd.read_csv('filename.csv', encoding=result['encoding'])

别忘了pip安装chardet

如果您现在使用pd编写文件。对于_csv（），默认情况下使用utf-8编码