从列表创建数据框并保留重复项[重复]

Question

我有一个数据帧列表。列表中的每个数据帧都是唯一的，这意味着有一些共享但不同的列。我想创建一个dataframe，它包含dataframe列表中的所有列，如果元素不存在，它将填充NaN。我试过以下方法

import pandas as pd
df_new = pd.concat(list_of_dfs)
#I get the following: InvalidIndexError: Reindexing only valid with uniquely valued Index objects

问题似乎是由于列表中的数据帧造成的。每个数据帧只有一行，因此其索引为零，因此重新编制索引不会起作用。我试过这个：

 list_of_dfs.append(pd.DataFrame([rows], columns = tags).set_index(np.array(random.randint(0,5000))))

几乎生成一个随机数作为索引。但是，要获得此错误，请执行以下操作：

ValueError: The parameter "keys" may be a column key, one-dimensional array, or a list containing only valid column keys and one-dimensional arrays.

Answer 1

试试这个怎么样：

如果你的指标已经是独一无二的，这不应该伤害他们：

df = df.loc[~df.index.duplicated(keep='first')]

而是确保它们是独一无二的。您可以使用ax设置为index来确保标记被用作串联的基础：

df_new = pd.concat(list_of_dfs, axis='index')

Answer 2

你需要在pd.concat中使用一些参数：

import pandas as pd

df1 = pd.DataFrame({'a':[1,2,3],'x':[4,5,6],'y':[7,8,9]})
df2 = pd.DataFrame({'b':[10,11,12],'x':[13,14,15],'y':[16,17,18]})

print(pd.concat([df1,df2], axis=0, ignore_index=True))

结果:

     a   x   y     b
0  1.0   4   7   NaN
1  2.0   5   8   NaN
2  3.0   6   9   NaN
3  NaN  13  16  10.0
4  NaN  14  17  11.0
5  NaN  15  18  12.0

所以，像这样使用concat：

pd.concat(list_of_dfs, axis=0, ignore_index=True)