Python在Pandas中读取CSV文件时的UnicodeDecodeError

Question

我正在运行一个程序，可以处理30000个类似的文件。他们中的一些人正在停止并产生这个错误...

File "C:\Importer\src\dfman\importer.py", line 26, in import_chr
     data = pd.read_csv(filepath, names=fields)
File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 400, in parser_f
     return _read(filepath_or_buffer, kwds)
File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 205, in _read
     return parser.read()
   File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 608, in read
     ret = self._engine.read(nrows)
File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 1028, in read
     data = self._reader.read(nrows)
File "parser.pyx", line 706, in pandas.parser.TextReader.read (pandas\parser.c:6745)
File "parser.pyx", line 728, in pandas.parser.TextReader._read_low_memory (pandas\parser.c:6964)
File "parser.pyx", line 804, in pandas.parser.TextReader._read_rows (pandas\parser.c:7780)
File "parser.pyx", line 890, in pandas.parser.TextReader._convert_column_data (pandas\parser.c:8793)
File "parser.pyx", line 950, in pandas.parser.TextReader._convert_tokens (pandas\parser.c:9484)
File "parser.pyx", line 1026, in pandas.parser.TextReader._convert_with_dtype (pandas\parser.c:10642)
File "parser.pyx", line 1046, in pandas.parser.TextReader._string_convert (pandas\parser.c:10853)
File "parser.pyx", line 1278, in pandas.parser._string_box_utf8 (pandas\parser.c:15657)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xda in position 6: invalid    continuation byte

Answer 1

read_csv采用encode选项来处理不同格式的文件。我通常使用read_csv('file',encoding=“iso-8859-1”）或encoding=“utf-8”进行读取，通常使用utf-8进行to_csv。

您还可以使用几个alias选项之一，如'latin'而不是'ISO-8859-1'（请参阅python文档，了解您可能遇到的许多其他编码）。

请参阅相关的Pandas文档、python文档中关于csv文件的示例，以及关于SO的大量相关问题。一个好的后台资源是每个开发人员都应该了解的关于unicode和字符集的知识。

要检测编码（假设文件包含非ASCII字符），可以使用enca（参见手册页）或file-i(linux)或file-i(osx)（参见手册页）。