在写入CSV期间，Python ASCII编解码器无法编码字符错误

Question

我不确定要如何处理此错误。我认为这与需要添加.encode（’utf-8’）有关。但是我不确定这是否是我需要做的，也不是应该在哪里应用。

错误是：

line 40, in <module>
writer.writerows(list_of_rows)
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2013' in position 1
7: ordinal not in range(128)

这是我的python脚本的基础。

import csv
from BeautifulSoup import BeautifulSoup

url = \
'https://dummysite'

response = requests.get(url)

html = response.content

soup = BeautifulSoup(html)

table = soup.find('table', {'class': 'table'})

list_of_rows = []
for row in table.findAll('tr')[1:]:
list_of_cells = []
for cell in row.findAll('td'):
    text = cell.text.replace('[','').replace(']','')
    list_of_cells.append(text)
list_of_rows.append(list_of_cells)

outfile = open("./test.csv", "wb")
writer = csv.writer(outfile)
writer.writerow(["Name", "Location"])
writer.writerows(list_of_rows)

Answer 1

Python 2.x CSV库已损坏。您有三个选择。按照复杂度的顺序：

1. 编辑：请参见下文 使用固定库 https://github.com/jdunck/python-unicodecsv（ pip install unicodecsv）。用作临时替代品-示例：

   with open("myfile.csv", 'rb') as my_file:    
   r = unicodecsv.DictReader(my_file, encoding='utf-8')
   

2. 阅读有关Unicode的CSV手册：https：//docs.python.org/2/library/csv.html（请参阅底部的示例）

3. 手动将每个项目编码为UTF-8：

   for cell in row.findAll('td'):
   text = cell.text.replace('[','').replace(']','')
   list_of_cells.append(text.encode("utf-8"))
   

编辑，我发现读取UTF-16时python-unicodecsv也坏了 。它抱怨任何0x00字节。

而是使用https://github.com/ryanhiebert/backports.csv，它更类似于Python
3的实现，并使用io模块。

安装：

pip install backports.csv

用法：

from backports import csv
import io

with io.open(filename, encoding='utf-8') as f:
    r = csv.reader(f):