用滚动平均值或其他插值替换NaN或缺失值

Question

我有一个熊猫数据框，其中包含每月数据，我想为其计算12个月的移动平均值。但是缺少一月每个月的数据（NaN），所以我正在使用

pd.rolling_mean(data["variable"]), 12, center=True)

但这只是给我所有的NaN值。

有没有一种简单的方法可以忽略NaN值？我了解实际上，这将成为11个月的移动平均值。

数据框还有其他包含一月数据的变量，所以我不想只扔掉一月的列并进行11个月的移动平均。

Answer 1

有几种方法可以解决此问题，最好的方法取决于一月份的数据是否与其他月份系统地不同。大多数现实世界的数据可能都是季节性的，因此让我们以北半球一个随机城市的平均高温（华氏度）为例。

df=pd.DataFrame({ 'month' : [10,11,12,1,2,3],
                  'temp'  : [65,50,45,np.nan,40,43] }).set_index('month')

您可以按照建议使用滚动平均值，但是问题是您将获得全年的平均温度，而忽略了1月是最冷的月份这一事实。要对此进行更正，可以将窗口减小到3，这导致一月温度是12月和2月温度的平均值。（我也min_periods=1按照@
user394430的答案中的建议使用。）

df['rollmean12'] = df['temp'].rolling(12,center=True,min_periods=1).mean()
df['rollmean3']  = df['temp'].rolling( 3,center=True,min_periods=1).mean()

这些是改进，但是仍然存在用滚动方式覆盖现有值的问题。为了避免这种情况，您可以将其与update()方法结合使用（请参见此处的文档）。

df['update'] = df['rollmean3']
df['update'].update( df['temp'] )  # note: this is an inplace operation

甚至有更简单的方法可以保留现有值，而用上个月，下个月或上个月和下个月的平均值填充丢失的一月份温度。

df['ffill']   = df['temp'].ffill()         # previous month 
df['bfill']   = df['temp'].bfill()         # next month
df['interp']  = df['temp'].interpolate()   # mean of prev/next

在这种情况下，interpolate()默认为简单线性解释，但是您还可以使用其他几种插值选项。有关更多信息，请参见有关熊猫插值的文档。或这个statck溢出问题：
在熊猫的DataFrame上插值

这是带有所有结果的样本数据：

       temp  rollmean12  rollmean3  update  ffill  bfill  interp
month                                                           
10     65.0        48.6  57.500000    65.0   65.0   65.0    65.0
11     50.0        48.6  53.333333    50.0   50.0   50.0    50.0
12     45.0        48.6  47.500000    45.0   45.0   45.0    45.0
1       NaN        48.6  42.500000    42.5   45.0   40.0    42.5
2      40.0        48.6  41.500000    40.0   40.0   40.0    40.0
3      43.0        48.6  41.500000    43.0   43.0   43.0    43.0

特别要注意的是，“ update”和“ interp”在所有月份中给出的结果相同。尽管在此使用哪种都无关紧要，但在其他情况下，一种或另一种可能会更好。