Python-向数据框添加行的有效方法

Question

从这个问题和其他问题来看，似乎不建议使用concat或append来构建熊猫数据帧，因为每次都会重新复制整个数据帧。

我的项目涉及每30秒检索少量数据。这可能会运行3天的周末，因此有人很容易期望一次创建一行超过8000行。向该数据帧添加行的最有效方法是什么？

Answer 1

汤姆·哈维的反应很好。不过，我想补充一个基于熊猫的更简单的答案。DataFrame.from_dict。

通过将列表中一行的数据添加到字典中，然后将此列表添加到字典中，您可以使用pd。DataFrame.from_dict，无需迭代即可创建数据帧。

如果字典的每个值都是一行。您可以只使用：pd。数据帧。来自dict（字典，orient='index'）

小例子：

# Dictionary containing the data
dic = {'row_1':['some','test','values',78,90],'row_2':['some','test','values',100,589]}

# Creation of the dataframe
df = pd.DataFrame.from_dict(dic,orient='index')
df
          0       1       2      3       4
row_1   some    test    values  78       90
row_2   some    test    values  100     589

Answer 2

编辑选择的答案，因为它是完全错误的。下面解释了为什么不应使用放大设置。“放大设置”实际上比追加更糟糕。

tl；这里的dr是，没有有效的方法来处理数据帧，所以如果您需要速度，您应该使用另一种数据结构。请参阅其他答案以获得更好的解决方案。

您可以使用不存在索引上的loc将行添加到就地DataFrame，但这也执行所有数据的副本（请参阅本讨论）。熊猫留档是这样的：

In [119]: dfi
Out[119]: 
   A  B  C
0  0  1  0
1  2  3  2
2  4  5  4

In [120]: dfi.loc[3] = 5

In [121]: dfi
Out[121]: 
   A  B  C
0  0  1  0
1  2  3  2
2  4  5  4
3  5  5  5

对于类似于所描述的用例，使用放大设置实际上比append花费50%的时间：

使用append（），8000行需要6.59s（每行0.8ms）

%%timeit df = pd.DataFrame(columns=["A", "B", "C"]); new_row = pd.Series({"A": 4, "B": 4, "C": 4})
for i in range(8000):
    df = df.append(new_row, ignore_index=True)

# 6.59 s ± 53.3 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

使用. loc（），8000行需要10秒（每行1.25ms）

%%timeit df = pd.DataFrame(columns=["A", "B", "C"]); new_row = pd.Series({"A": 4, "B": 4, "C": 4})
for i in range(8000):
    df.loc[i] = new_row

# 10.2 s ± 148 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

与面向数据的代码中的所有分析一样，YMMV和您应该测试您的用例。append和"使用放大设置"的写时复制行为的一个特点是，它将越来越慢与大的DataFrames：

%%timeit df = pd.DataFrame(columns=["A", "B", "C"]); new_row = pd.Series({"A": 4, "B": 4, "C": 4})
for i in range(16000):
    df.loc[i] = new_row

# 23.7 s ± 286 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

使用此方法构建16k行数据帧需要比8k行长2.3倍的时间。

Answer 3

我用了这个答案的df。loc[i]=[新数据]建议，但我有

from io import BytesIO
from csv import writer 
import pandas as pd

output = BytesIO()
csv_writer = writer(output)

for row in iterable_object:
    csv_writer.writerow(row)

output.seek(0) # we need to get back to the start of the BytesIO
df = pd.read_csv(output)
return df

这样，大约500000行的速度提高了1000倍，随着行数的增加，速度的提高只会越来越大（df.loc[1]=[data]相对来说会慢得多）

希望这能帮助那些在处理比OP更多的行时需要效率的人。