Python pickle错误：UnicodeDecodeError

Question

我正在尝试使用Textblob进行一些文本分类。我首先训练模型，并使用pickle将其序列化，如下所示。

import pickle
from textblob.classifiers import NaiveBayesClassifier

with open('sample.csv', 'r') as fp:
     cl = NaiveBayesClassifier(fp, format="csv")

f = open('sample_classifier.pickle', 'wb')
pickle.dump(cl, f)
f.close()

当我试图运行这个文件时：

import pickle
f = open('sample_classifier.pickle', encoding="utf8")
cl = pickle.load(f)    
f.close()

我得到这个错误：

UnicodeDecodeError:“utf-8”编解码器无法解码位置0中的字节0x80:无效的开始字节

以下是我的样本内容。csv:

我的SQL根本不正常。这是个错误的选择SQL

我有问题。请立即回复，支援

我哪里做错了？请帮忙。

Answer 1

可能该文件是使用拉丁语1编码的：

f = open('sample_classifier.pickle', encoding="latin1")

Answer 2

我想你应该打开这个文件

f = open('sample_classifier.pickle', 'rb')
cl = pickle.load(f)   

你不应该解码它。pickle.load会给你一个你保存的任何东西的确切副本。此时，您应该能够使用cl，就像您刚刚创建了它一样。

Answer 3

通过选择在模式wb中打开文件，您选择用原始二进制文件写入。没有应用字符编码。

因此，要读取此文件，您只需在模式rb下打开。