使用dataframe.mean（）时运行时间呈指数级增长（非数字列）

Question

我正在处理一个天气数据集（要复制；可以在这里找到数据，请解压缩它并运行下面的代码），我想对数据进行规范化。为此，我尝试了这个问题的第二个答案；

规范化熊猫数据框架的列

这可以归结为normalized_-df=（df-df.mean（axis=0））/df.std（axis=0）

但是，执行此代码需要很长时间。因此，我开始研究，df.mean（）调用所花费的时间似乎呈指数增长。

我使用了以下代码来测试运行时：

import pandas as pd
import time

jena_climate_df = pd.read_csv("jena_climate_2009_2016.csv")
start = time.time()
print(jena_climate_df[:200000].mean(axis=0)) #Modify the number of rows here to observe the increase in time
stop = time.time()
print(f"{stop-start} Seconds for mean calc")

我运行了一些测试，选择逐渐增加用于平均值计算的行数。请参见以下结果：

0.004987955093383789 Seconds for mean calc ~ 10 observations
0.009006738662719727 Seconds for mean calc ~ 1000 observations
0.0837397575378418 Seconds for mean calc ~ 10000 observations
1.789750337600708 Seconds for mean calc ~ 50000 observations
7.518809795379639 Seconds for mean calc ~ 60000 observations
19.989460706710815 Seconds for mean calc ~ 70000 observations
71.97900629043579 Seconds for mean calc ~ 100000 observations
375.04513001441956 Seconds for mean calc ~ 200000 observations

在我看来，时间是呈指数增长的。我不知道为什么会发生这种情况，AFAIK将所有的值相加，然后除以观察值的数量，这在计算上应该不会太密集，但也许我在这里错了。如果您能解释一下，我们将不胜感激！

Answer 1

我做了一些测试，在本例中，罪魁祸首似乎是“日期时间”——非数字列。

其次，我尝试在以下三个场景中计算整个数据帧的平均值（每个场景有80K行），并使用%%timeit对其计时：

• jena\u climate\u df[0:80000]。平均值（轴=0）：10.2秒
• 将日期/时间列设置为索引：jena_climate_df.set_index（“日期-时间”）[0:80000]。平均值（axis=0）-40ms（约为先前测试的0.4%）
• 最后，删除日期/时间列：jena_climate_df.drop（“日期-时间”，轴=1）[0:80000]。平均值（轴=0）-19.8毫秒（原始时间的0.2%）

希望这能有所帮助。