熊猫行动期间的进度指标

Question

我经常对超过1500万行的数据帧执行pandas操作，我希望能够访问特定操作的进度指示器。

例如，在类似于：

df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)

其中feature_rollup是一个包含许多DF列并通过各种方法创建新用户列的函数。对于大数据帧，这些操作可能需要一段时间，所以我想知道是否可以在iPython笔记本中提供基于文本的输出，以更新我的进度。

到目前为止，我已经尝试了Python的规范循环进度指示器，但它们并没有以任何有意义的方式与pandas交互。

这也许是需要添加到库中的东西吗？

Answer 1

由于流行的需求，我在tqdm中添加了pandas支持(pip install“tqdm>=4.9.0”)。与其他答案不同，这不会显著降低熊猫的速度--下面是DataFrameGroupBy.progress_apply的一个示例：

import pandas as pd
import numpy as np
from tqdm import tqdm
# from tqdm.auto import tqdm  # for notebooks

df = pd.DataFrame(np.random.randint(0, int(1e8), (10000, 1000)))

# Create new `pandas` methods which use `tqdm` progress
# (can use tqdm_gui, optional kwargs, etc.)
tqdm.pandas()

# Now you can use `progress_apply` instead of `apply`
df.groupby(0).progress_apply(lambda x: x**2)

如果您对它的工作原理感兴趣（以及如何为自己的回调修改它），请参阅github上的示例、pypi上的完整文档，或者导入模块并运行help(tqdm)。其他支持的函数包括map、applymap、aggreat和transform。

编辑

df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)

与：

from tqdm import tqdm
tqdm.pandas()
df_users.groupby(['userID', 'requestDate']).progress_apply(feature_rollup)

注意:tqdm<=v4.8:对于4.8以下版本的tqdm，您必须执行以下操作，而不是tqdm.pandas():

from tqdm import tqdm, tqdm_pandas
tqdm_pandas(tqdm())