Python-向数据框添加行的有效方法

Question

从这个问题和其他问题来看，似乎不建议使用concat或append构建熊猫数据框，因为它每次都在重新复制整个数据框。

我的项目涉及每30秒检索少量数据。这可能需要进行为期3天的周末，所以有人可以轻松地期望一次创建超过8000行。将行添加到此数据框的最有效方法是什么？

Answer 1

由于它完全被误认为是在此处编辑所选答案。以下内容说明了为什么不 应该 使用放大设置。 “放大设置”实际上比追加效果差。

该 TL;博士 在这里是 有一个数据帧要做到这一点没有有效的方法，所以如果你需要的速度，你应该使用另一种数据结构来代替。
查看其他答案以获得更好的解决方案。

有关扩大设置的更多信息

您可以使用loc不存在的索引就地向DataFrame添加行，但是这也会执行所有数据的副本（请参见本讨论）。从Pandas文档中可以看到以下内容：

In [119]: dfi
Out[119]: 
   A  B  C
0  0  1  0
1  2  3  2
2  4  5  4

In [120]: dfi.loc[3] = 5

In [121]: dfi
Out[121]: 
   A  B  C
0  0  1  0
1  2  3  2
2  4  5  4
3  5  5  5

对于类似上述用例的情况， 设置放大实际上比append以下 时间长50％ ：

使用append()，8000行耗时6.59s（每行0.8ms）

%%timeit df = pd.DataFrame(columns=["A", "B", "C"]); new_row = pd.Series({"A": 4, "B": 4, "C": 4})
for i in range(8000):
    df = df.append(new_row, ignore_index=True)

# 6.59 s ± 53.3 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

使用.loc()，8000行耗时10s（每行1.25ms）

%%timeit df = pd.DataFrame(columns=["A", "B", "C"]); new_row = pd.Series({"A": 4, "B": 4, "C": 4})
for i in range(8000):
    df.loc[i] = new_row

# 10.2 s ± 148 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

更长的DataFrame呢？

与所有面向数据的代码中的概要分析一样，YMMV也应针对您的用例进行测试。append和“设置放大”的写时复制行为的一个特征是，随着DataFrames的增大，写入速度会越来越慢：

%%timeit df = pd.DataFrame(columns=["A", "B", "C"]); new_row = pd.Series({"A": 4, "B": 4, "C": 4})
for i in range(16000):
    df.loc[i] = new_row

# 23.7 s ± 286 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

DataFrame用这种方法建立一个16k的行比8k的行花费2.3倍的时间。