将数据集从网页读入数据帧时出现UnicodeDecodeError

Question

我正在尝试将MovieLens数据集复制到Python中的Pandas数据帧中。

movies = pd.read_csv('http://files.grouplens.org/datasets/movielens/ml-100k/u.item', sep='|', names = ['movie_id', 'title'], usecols = range(2))
movies.head()

但是，当我执行上述操作时，会出现以下错误。

UnicodeDecodeError回溯（最近一次调用）pandas/_libs/解析器。大熊猫中的pyx_图书馆。解析器。文本阅读器_转换_代币（）

熊猫/_libs/parsers.pyx。_libs.parsers.文本阅读器。_convert_with_dtype（）

熊猫/_libs/parsers.pyx。_libs.parsers.文本阅读器。_string_convert（）

pandas/_libs/解析器。大熊猫中的pyx_图书馆。解析器_字符串\u框\u utf8（）

UnicodeDecodeError:“utf-8”编解码器无法解码位置3中的字节0xe9:无效的连续字节

在处理上述异常时，发生了另一个异常：

UnicodeDecodeError回溯（最近一次调用上次）位于（）8 9---

/usr/local/lib/python3。5/dist包/pandas/io/parser。语法分析器中的py\u f（文件路径或缓冲区、sep、分隔符、标题、名称、索引列、usecols、squeeze、prefix、mangle\u dupe\u cols、数据类型、引擎、转换器、true\u值、false\u值、skipinitialspace、skiprows、nrows、na\u值、keep\u默认值、na\u筛选器、冗余、跳过空白行、解析日期、推断日期时间格式、keep\u日期列、日期解析器、dayfirst、迭代器、chunksize、压缩、千、十进制、行终止符、引号、引号、转义符、注释、编码、方言、元组、错误行、警告行、跳脚、跳脚、双引号、delim空格、as-recarray、compact-int、使用无符号、低内存、缓冲行、内存映射、浮点精度）703跳过空白行=跳过空白行）704--

/usr/local/lib/python3.5/dist-packages/pandas/io/parsers.py_read（filepath_or_buffer， kwds）449 450 try：--

/usr/local/lib/python3。5/dist包/pandas/io/parser。py in read（self，nrows）1063 raise ValueError（'skipfooter not supported for iteration'）1064-

/usr/local/lib/python3。5/dist包/pandas/io/parser。py in read（self，nrows）1826 def read（self，nrows=None）：1827尝试：-

pandas/_libs/解析器。大熊猫中的pyx_图书馆。解析器。文本阅读器。读（）

熊猫/_libs/parsers.pyx。_libs.parsers.文本阅读器。_read_low_memory（）

熊猫/_libs/parsers.pyx。_libs.parsers.文本阅读器。_read_rows（）

pandas/_libs/解析器。大熊猫中的pyx_图书馆。解析器。文本阅读器_转换列数据（）

pandas/_libs/解析器。大熊猫中的pyx_图书馆。解析器。文本阅读器_转换_代币（）

熊猫/_libs/parsers.pyx。_libs.parsers.文本阅读器。_convert_with_dtype（）

熊猫/_libs/parsers.pyx。_libs.parsers.文本阅读器。_string_convert（）

pandas/_libs/解析器。大熊猫中的pyx_图书馆。解析器_字符串\u框\u utf8（）

UnicodeDecodeError:“utf-8”编解码器无法解码位置3中的字节0xe9:无效的连续字节

我正在Python 3中的html" target="_blank">Jupyter笔记本中工作。如何解决错误？

Answer 1

将文件更改为UTF-8格式，这将解决问题。如果您不知道如何以UTF-8编码格式保存文件，以下链接将有所帮助。https://www.xadapter.com/how-to-save-csv-excel-file-as-utf-8-encoded/

Answer 2

该文件不是UTF-8编码的。不过，我们可以做出合理的猜测，我们可以请chardet第三方图书馆帮助我们：

In [23]: import urllib, chardet

In [24]: url = 'http://files.grouplens.org/datasets/movielens/ml-100k/u.item'

In [25]: u = chardet.UniversalDetector()

In [26]: u.feed(urllib.request.urlopen(url).read())

In [27]: u.close()
Out[27]: {'confidence': 0.73, 'encoding': 'ISO-8859-1', 'language': ''}

In [28]: movies = pd.read_csv(url, sep='|', names = ['movie_id', 'title'], 
                              usecols = range(2), encoding='iso-8859-1')

In [29]: movies.head()
Out[29]: 
   movie_id              title
0         1   Toy Story (1995)
1         2   GoldenEye (1995)
2         3  Four Rooms (1995)
3         4  Get Shorty (1995)
4         5     Copycat (1995)