pandas.read_csv：如何跳过注释行

Question

我想我误解了阅读的意图。如果我有一个像“j”这样的文件

# notes
a,b,c
# more notes
1,2,3

我怎样才能看到熊猫。读取此文件，跳过任何“#”注释行？我在帮助中看到，不支持行的“注释”，但它表示应返回空行。我看到一个错误

df = pandas.read_csv('j', comment='#')

数据标记化出错。C错误：预期第2行中的1个字段，锯3

我现在在

In [15]: pandas.__version__
Out[15]: '0.12.0rc1'

在版本“0.12”上。0-199-g4c8ad82'：

In [43]: df = pandas.read_csv('j', comment='#', header=None)

数据标记化出错。C错误：预期第2行中的1个字段，锯3

Answer 1

我使用的是0.13版的熊猫。1而且csv中的这个评论问题仍然困扰着我。

以下是我目前的工作区：

def read_csv(filename, comment='#', sep=','):
    lines = "".join([line for line in open(filename) 
                     if not line.startswith(comment)])
    return pd.read_csv(StringIO(lines), sep=sep)

否则使用pd。读取_csv（文件名，注释='#'）I get

pandas.parser.CParserError：标记数据出错。C错误：预期第16行中的1个字段，锯3。

Answer 2

一种解决方法是指定skiprows以忽略前几个条目：

In [11]: s = '# notes\na,b,c\n# more notes\n1,2,3'

In [12]: pd.read_csv(StringIO(s), sep=',', comment='#', skiprows=1)
Out[12]: 
    a   b   c
0 NaN NaN NaN
1   1   2   3

否则，read\u csv会有点困惑：

In [13]: pd.read_csv(StringIO(s), sep=',', comment='#')
Out[13]: 
        Unnamed: 0
a   b            c
NaN NaN        NaN
1   2            3

这似乎是0.12中的情况。0，我已经提交了错误报告。

正如Viktor所指出的，你可以在事实发生后使用dropna删除NaN...（最近有一个公开的问题，评论行被完全忽略）：

In [14]: pd.read_csv(StringIO(s2), comment='#', sep=',').dropna(how='all')
Out[14]: 
   a  b  c
1  1  2  3

注意：默认索引将“泄露”缺少数据的事实。

Answer 3

所以我相信在最新版本的熊猫（版本0.16.0），你可以把注释='#'参数放入pd.read_csv，这应该跳过注释行。

这些github问题表明您可以做到这一点：

• https://github.com/pydata/pandas/issues/10548
• https://github.com/pydata/pandas/issues/4623

请参阅read\u csv上的文档：http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html