使用numpy.genfromtxt在Python 3中加载UTF-8文件

Question

我有一个从WHO网站下载的CSV文件（http://apps.who.int/gho/data/view.main.52160，下载，“
CSV格式的多用途表”）。我尝试将文件加载到numpy数组中。这是我的代码：

import numpy
#U75 - unicode string of max. length 75
world_alcohol = numpy.genfromtxt("xmart.csv", dtype="U75", skip_header=2, delimiter=",")
print(world_alcohol)

我得到

UnicodeDecodeError：’ascii’编解码器无法解码位置2的字节0xc3：序数不在range（128）中。

我猜想numpy在读取字符串“Côted’Ivoire”时遇到问题。该文件已正确编码为UTF-8（根据我的文本编辑器）。我正在使用Python3.4.3和numpy 1.9.2。

我究竟做错了什么？如何将文件读入numpy？

Answer 1

在Python3中，我可以执行以下操作：

In [224]: txt = "Côte d'Ivoire"
In [225]: x = np.zeros((2,),dtype='U20')
In [226]: x[0] = txt
In [227]: x
Out[227]: 
array(["Côte d'Ivoire", ''],   dtype='<U20')

这意味着我可能可以打开“ UTF-8”文件（常规模式，而不是字节模式），并读取行，并将其分配给数组元素，例如x。

但是，genfromtxt坚持使用无法处理较大UTF-8集合（7字节v
8）的字节字符串（ascii）进行操作。所以我需要decode在某个时候申请以获得一个U数组。

我可以使用以下命令将其加载到“ S”数组中genfromtxt：

In [258]: txt="Côte d'Ivoire"
In [259]: a=np.genfromtxt([txt.encode()],delimiter=',',dtype='S20')
In [260]: a
Out[260]: 
array(b"C\xc3\xb4te d'Ivoire",  dtype='|S20')

并应用于decode各个元素：

In [261]: print(a.item().decode())
Côte d'Ivoire

In [325]: print _
Côte d'Ivoire

或用于np.char.decode将其应用于数组的每个元素：

In [263]: np.char.decode(a)
Out[263]: 
array("Côte d'Ivoire", dtype='<U13')
In [264]: print(_)
Côte d'Ivoire

genfromtxt让我指定converters：

In [297]: np.genfromtxt([txt.encode()],delimiter=',',dtype='U20',
    converters={0:lambda x: x.decode()})
Out[297]: 
array("Côte d'Ivoire", dtype='<U20')

如果csv混合使用字符串和数字，则此converters方法将比容易使用np.char.decode。只需为每个字符串列指定转换器。

（请参阅我先前对Python2尝试的编辑）。