由于Unicode解码错误，无法在熊猫中打开csv文件

Question

我保存了一个熊猫数据框作为CSV使用

df_to_save.to_csv(save_file_path)

但是当我读到它在使用

df_temp = pd.read_csv(file_path)

我收到一条错误消息说

UnicodeDecodeError:“utf-8”编解码器无法解码位置158处的字节0xbf:无效的开始字节

我已经尝试通过使用打开csv文件来强制读取时的编码为utf-8

df_temp = pd.read_csv(file_path, index_col=False, encoding="utf-8",sep=',') 

真的卡住了，有人能帮忙吗？

非常感谢

Answer 1

或者为了避免编码问题，使用EXCEL（也返回数据帧）

writer = pd.ExcelWriter('train_numeric.xlsx')
newTRAIN.to_excel(writer,'Sheet1')

然后呢

newTEST_excel = pd.read_excel('train_numeric.xlsx')
newTEST_excel.head(2)

Answer 2

该字符不在UTF-8中编码。

您可以使用（文档）复制它：

b'\xbf'.decode("utf-8", "strict")
Traceback (most recent call last):

  File "<ipython-input-7-4db5a43b4577>", line 1, in <module>
    b'\xbf'.decode("utf-8", "strict")

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbf in position 0: invalid start byte

您可以尝试不同的编码，这将解决此字符的问题：

b'\xbf'.decode("ISO-8859-1", "strict")
Out: '¿'

因此，您的read_csv将更改为：

df_temp = pd.read_csv(file_path, index_col=False, encoding="ISO-8859-1") 

Answer 3

更改分类数据的编码：

def my_func(df):
    for col in df.columns:
        df[col] = df[col].str.decode('iso-8859-1').str.encode('utf-8')

此函数将更改分类数据的编码。