使用熊猫处理可变数量的列-Python

Question

我有一个看起来像这样的数据集（最多5列-但可以更少）

1,2,3
1,2,3,4
1,2,3,4,5
1,2
1,2,3,4
....

我试图使用pandas read_表将其读入一个5列数据帧。我想在没有额外按摩的情况下阅读这篇文章。

如果我尝试

import pandas as pd
my_cols=['A','B','C','D','E']
my_df=pd.read_table(path,sep=',',header=None,names=my_cols)

我得到一个错误-“列名有5个字段，数据有3个字段”。

有没有办法让熊猫在读取数据的同时为缺失的列填写NaN？

Answer 1

好的。不确定这有多有效——但这是我所做的。很想听听是否有更好的方法来做到这一点。谢谢！

from pandas import DataFrame

list_of_dicts=[]
labels=['A','B','C','D','E']
for line in file:
    line=line.rstrip('\n')
    list_of_dicts.append(dict(zip(labels,line.split(','))))
frame=DataFrame(list_of_dicts)

Answer 2

我也很想知道这是否可能，从医生那里看似乎不是这样。您可能需要做的是逐行读取文件，并将每次读取连接到DataFrame：

import pandas as pd

df = pd.DataFrame()

with open(filepath, 'r') as f:
    for line in f:
        df = pd.concat( [df, pd.DataFrame([tuple(line.strip().split(','))])], ignore_index=True )

我想，它能起作用，但不是以最优雅的方式。。。

Answer 3

一种似乎有效的方法（至少在0.10.1和0.11.0.dev-fc8de6d中）：

>>> !cat ragged.csv
1,2,3
1,2,3,4
1,2,3,4,5
1,2
1,2,3,4
>>> my_cols = ["A", "B", "C", "D", "E"]
>>> pd.read_csv("ragged.csv", names=my_cols, engine='python')
   A  B   C   D   E
0  1  2   3 NaN NaN
1  1  2   3   4 NaN
2  1  2   3   4   5
3  1  2 NaN NaN NaN
4  1  2   3   4 NaN

不过，请注意，这种方法需要为所需的列命名。不像其他一些方法那样通用，但在应用时效果足够好。