在巨大的TSV文件中,pandas read_csv dtype对大多数整数字符串列的推断不一致

Question

我有一个以制表符分隔的文件，其中有一列应该解释为字符串，但许多条目都是整数。对于小文件，read_csv在看到一些非整数值后会正确地将列解释为字符串，但是对于较大的文件，这就不起作用了：

import pandas as pd
df = pd.DataFrame({'a':['1']*100000 + ['X']*100000 + ['1']*100000, 'b':['b']*300000})
df.to_csv('test', sep='\t', index=False, na_rep='NA')
df2 = pd.read_csv('test', sep='\t')
print df2['a'].unique()
for a in df2['a'][262140:262150]:
    print repr(a)

输出：

['1' 'X' 1]
'1'
'1'
'1'
'1'
1
1
1
1
1
1

我很确定这是一个bug，但是希望能够使用引用来解决这个问题，尽管添加quoting=csv.quote_nonnumeric用于读写并不能解决这个问题。理想情况下，我可以通过引用我的字符串数据来解决这一问题，并且以某种方式迫使pandas不对引用的数据进行任何推断。

使用pandas 0.12.0

Answer 1

您在这里欺骗了read_csv解析器（而且公平地说，我不认为无论您向它抛出什么东西，它总是能够正确地输出）...但是，是的，它可能是一个虫子！

正如@Steven指出的，您可以使用read_csv的converters参数：

df2 = pd.read_csv('test', sep='\t', converters={'a': str})

懒散的解决方案只是在读取文件后修补它：

In [11]: df2['a'] = df2['a'].astype('str')

# now they are equal
In [12]: pd.util.testing.assert_frame_equal(df, df2)

注意：如果您正在寻找存储数据流的解决方案，例如在会话之间存储数据流，那么pickle和HDF5Store都是极好的解决方案，它们不会受到这些类型的解析错误的影响（并且会更快）。参见：如何使用PANDAS、Python存储数据帧