在numpy中读取CSV文件，其中分隔符为“，”

Question

我有一个CSV文件，其格式如下：

“ FieldName1”，“ FieldName2”，“ FieldName3”，“ FieldName4”
“ 04/13/2010 14：45：07.008”，“ 7.59484916392”，“ 10”，“ 6.552373”
“ 04/13/2010 14：45：22.010 ”，“ 6.55478493312”，“ 9”，“ 3.5378543”
…

请注意，CSV文件中每行的开头和结尾都有双引号字符，并且该","字符串用于分隔每行中的字段。CSV文件中的字段数可能因文件而异。

当我尝试通过以下方式
import numpy as np
data = np.genfromtxt(csvfile, dtype=None, delimiter=',', names=True)
将其读取为numpy时：所有数据都以字符串值的形式读取，并用双引号引起来。并非没有道理，但对我来说并没有太大用处，因为我不得不回头将每一列转换为正确的类型

当我改用时delimiter='","'， 除 第一个和最后一个字段 外
，所有内容均按我的意愿工作。由于线和行尾字符的起点是一个双引号字符，这是没有看到作为第一个和最后一个字段中输入有效的分隔符，使他们获得在读作如"04/13/2010 14:45:07.008和6.552373"-记前缘和后双分别引用字符。由于存在这些冗余字符，因此numpy假设第一个字段和最后一个字段均为String类型；我不希望那样

有没有一种方法可以指示numpy读取我想要的以这种方式格式化的文件，而不必在初始读取后返回并“修复” numpy数组的结构？

Answer 1

基本的问题是NumPy不了解剥离引号的概念（而csv模块可以理解）。当您说时delimiter='","'，您是在告诉NumPy，列定界符实际上是带引号的逗号，即引号是逗号周围的值，而不是值，因此，您期望在第一列和最后一列上获得的额外引号都可以。

查看函数文档，我认为您需要设置converters参数以为您去除引号（默认值不是）：

import re
import numpy as np

fieldFilter = re.compile(r'^"?([^"]*)"?$')
def filterTheField(s):
    m = fieldFilter.match(s.strip())
    if m:
        return float(m.group(1))
    else:
        return 0.0 # or whatever default

#...

# Yes, sorry, you have to know the number of columns, since the NumPy docs
# don't say you can specify a default converter for all columns.
convs = dict((col, filterTheField) for col in range(numColumns))
data = np.genfromtxt(csvfile, dtype=None, delimiter=',', names=True, 
    converters=convs)

或者放弃np.genfromtxt()，让csv.csvreader您一次以字符串列表的形式一次给您文件的内容，然后您只需遍历元素并构建矩阵：

reader = csv.csvreader(csvfile)
result = np.array([[float(col) for col in row] for row in reader])
# BTW, column headings are in reader.fieldnames at this point.

编辑：好的，看起来您的文件不是全部​​浮动。在这种情况下，您可以convs根据需要进行设置genfromtxt，或者在情况下创建转换函数向量csv.csvreader：

reader = csv.csvreader(csvfile)
converters = [datetime, float, int, float]
result = np.array([[conv(col) for col, conv in zip(row, converters)] 
    for row in reader])
# BTW, column headings are in reader.fieldnames at this point.

编辑2：好的，可变的列数…您的数据源只是想让生活变得困难。幸运的是，我们可以使用magic…

reader = csv.csvreader(csvfile)
result = np.array([[magic(col) for col in row] for row in reader])

…在这里magic()我只是想起一个函数而已。（精神！）

最坏的情况是：

def magic(s):
    if '/' in s:
        return datetime(s)
    elif '.' in s:
        return float(s)
    else:
        return int(s)

也许NumPy具有接受字符串并返回具有正确类型的单个元素的函数。
numpy.fromstring()看起来很近，但它可能会将时间戳中的空间解释为列分隔符。

PScsvreader我看到的一个缺点是它不会丢弃评论。真实csv文件没有评论。