pd.append（）是连接两个数据帧的最快方法吗？[复制]

Question

我正在通过API分页，并将请求保存到数据帧。

我一次可以收集100行，这个循环目前运行一个多小时。

我担心这是因为一旦我达到100000行以上，添加下一个100行就会变得非常低效。

这是我当前的代码：

while JSONContent['next'][0:10]>unixtime_yesterday:
    try:
        url=...
        JSONContent = requests.request("GET", url).json()

        temp_df=json_normalize(JSONContent['data'])
        temp_df=temp_df[['email','datetime','Campaign Name']]
        temp_df.drop_duplicates(subset=['email','Campaign Name'], keep='last', inplace=True, ignore_index=True)

        df_received=df_received.append(temp_df,ignore_index=True,sort=False)

    except ValueError: 
        print('There was a JSONDecodeError')

为了尽可能提高效率，我在整个请求中只保留了3列。我还会删除100行中出现的任何重复项。

Answer 1

当多个附件串联在一起时，创建一个数据帧列表并在末尾将其连接起来通常比使用pd更有效。在每次迭代时追加函数，因为这些函数有一些开销。

例如

%%timeit
dfs= []

for i in range(10000):
    tmp1 = pd.DataFrame([[1,2,3],[1,2,3],[1,2,3]])
    dfs.append(tmp1)
pd.concat(dfs)

每个循环给出1.44 s±88.5 ms（7次运行的平均值±标准偏差，每个循环1次），其中相同的实现，但在每次迭代中使用append，每个循环给出2.81 s±126 ms（7次运行的平均值±标准偏差，每个循环1次）