将熊猫数据框列表连接在一起
我有一个熊猫数据框列表，我想将其合并为一个熊猫数据框。我正在使用Python 2.7.10和Pandas 0.16.2
我从以下位置创建了数据框列表：
import pandas as pd
dfs = []
sqlall = "select * from mytable"
for chunk in pd.read_sql_query(sqlall , cnxn, chunksize=10000):
dfs.append(chunk)
这将返回数据帧列表
type(dfs[0])
Out[6]: pandas.core.frame.DataFrame
type(dfs)
Out[7]: list
len(dfs)
Out[8]: 408
这是一些样本数据
# sample dataframes
d1 = pd.DataFrame({'one' : [1., 2., 3., 4.], 'two' : [4., 3., 2., 1.]})
d2 = pd.DataFrame({'one' : [5., 6., 7., 8.], 'two' : [9., 10., 11., 12.]})
d3 = pd.DataFrame({'one' : [15., 16., 17., 18.], 'two' : [19., 10., 11., 12.]})
# list of dataframes
mydfs = [d1, d2, d3]
我想将d1，d2和组合d3成一个熊猫数据框。另外，使用该chunksize选项时将大表直接读入数据框的方法将非常有帮助。
问题答案：
鉴于所有数据框都具有相同的列，您可以简单地将concat它们：
import pandas as pd
df = pd.concat(list_of_dataframes)
-
问题内容： 我有两个具有以下列名称的数据框： 我想通过加入（左）on获得以下列的数据框： 如果我要连接的列不是索引，我无法弄清楚该怎么做。最简单的方法是什么？谢谢！ 问题答案： 您可以按以下方式使用left_on和right_on选项： 从问题中我不能确定您是否只想合并密钥是否位于左侧数据框中。如果是这种情况，则以下将执行此操作（以上内容实际上会进行多对多合并）
-
问题内容： 这可能很容易，但是我有以下数据： 在数据框1中： 在数据框2中： 我想要一个具有以下形式的数据框： 我尝试使用该方法，但是得到了交叉连接（即笛卡尔积）。 什么是正确的方法？ 问题答案： 通常看来，您只是在寻找联接：
-
问题内容： 我正在编写一个脚本，以将带有标头的大.xlsx文件减少到一个csv中，然后根据标头名称仅写有所需列的新csv文件。 我得到的错误是最后一部分代码，它说 我确定我忽略了一些愚蠢的事情，但是我已经阅读了熊猫网站上的to_csv文档，但我仍然感到茫然。我知道我使用了不正确的to_csv参数，但我似乎无法理解我猜的文档。 任何帮助表示赞赏，谢谢！ 问题答案： 选择特定列的方法是这样的-
-
问题内容： 我找不到关于交叉联接的任何信息，包括合并/联接或其他一些东西。我需要使用{my function}作为myfunc处理两个数据帧。相当于： 相当于： 但我需要更有效的解决方案：如果使用了应用，我将如何实现它们； ^^ 问题答案： 对于叉积，请参阅此问题。 本质上，您必须进行常规合并，但为每一行赋予相同的键以进行连接，以使每一行在框架之间相互连接。 然后可以通过应用函数将列添加到新框架：
-
问题内容： 我有一个熊猫数据框。我想“落后”我的专栏之一。例如，这意味着将整个列“ gdp”上移一位，然后删除其余行底部的所有多余数据，以使所有列的长度再次相等。 无论如何要这样做？ 问题答案：
-
问题内容： 我正在寻找一种方法来反向旋转数据框。据我所知，pandas提供了一种pivot或pivot_table方法将EAV df转换为“普通”方法。但是，还有一种方法可以做逆运算吗？ 所以给定数据框： 我想将其转换为（EAV模型）： 这样做最有效的方法是什么？ 问题答案： 假设是索引，将执行以下操作： 如果不是索引，请像这样设置：