如何使用Python和/或R在数据帧上的值之间进行插值

Question

我的数据集如下所示：

我将其导入到熊猫数据框中，使用pandas.read_csv以年份和国家列作为索引。我需要做的是将时间步长从每5年更改为每年，并插入所述值，我真的不知道如何做到这一点。我正在学习R和python，所以在这两种语言的帮助将高度赞赏。

Answer 1

首先，重新为帧建立索引。然后使用df。应用和系列。插值

类似的东西：

import pandas as pd

df = pd.read_csv(r'folder/file.txt')
rows = df.shape[0]
df.index = [x for x in range(0, 5*rows, 5)]
df = df.reindex(range(0, 5*rows))
df.apply(pandas.Series.interpolate)
df.apply(pd.Series.interpolate, inplace=True)

Answer 2

这很难，但我想我已经做到了。

下面是一个示例数据框：

df = pd.DataFrame({'country': ['australia', 'australia', 'belgium','belgium'], 
                   'year': [1980, 1985, 1980, 1985],
                   'data1': [1,5, 10, 15],
                   'data2': [100,110, 150,160]})
df = df.set_index(['country','year'])
countries = set(df.index.get_level_values(0))
df = df.reindex([(country, year) for country in countries for year in range(1980,1986)])
df = df.interpolate()
df = df.reset_index()

对于您的具体数据，假设每个国家都有1950年至2010年（含）之间每5年的数据，则

df = pd.read_csv('path_to_data')
df = df.set_index(['country','year'])
countries = set(df.index.get_level_values(0))
df = df.reindex([(country, year) for country in countries for year in range(1950,2011)])
df = df.interpolate()
df = df.reset_index()

有点棘手的问题。有兴趣看看是否有人有更好的解决方案

Answer 3

>

如果您给DataFrame一个DatetimeIndex，那么您可以利用df.resample和df.interpolate（'time'）方法。

要使df.index成为DatetimeIndex，您可能会尝试使用set_index（'年'）。然而，年本身并不是唯一的，因为它是为每个国家重复的。为了调用重新取样，我们需要一个唯一的索引。所以用df.pivot代替：

# convert integer years into `datetime64` values
In [441]: df['Year'] = (df['Year'].astype('i8')-1970).view('datetime64[Y]')
In [442]: df.pivot(index='Year', columns='Country')
Out[442]: 
                Avg1                      Avg2                
Country    Australia Austria Belgium Australia Austria Belgium
Year                                                          
1950-01-01         0       0       0         0       0       0
1955-01-01         1       1       1        10      10      10
1960-01-01         2       2       2        20      20      20
1965-01-01         3       3       3        30      30      30

然后，您可以使用df.resample（'A'）。平均值（）以年度频率重新取样数据。您可以将重新取样（'A'）看作是将df切成1年间隔的组。重新取样返回一个DatetimeIndexResapper对象，该对象的均值方法聚合每个组中的值通过取平均值。因此平均值（）每年返回一行的DataFrame。由于您的原始df每5年有一个数据，大多数1年组将是空的，因此平均值返回这些年的NaNs。如果您的数据始终以5年的间隔间隔，那么您可以使用. first（）或. last（）来代替。它们都会返回相同的结果。

In [438]: df.resample('A').mean()
Out[438]: 
                Avg1                      Avg2                
Country    Australia Austria Belgium Australia Austria Belgium
Year                                                          
1950-12-31       0.0     0.0     0.0       0.0     0.0     0.0
1951-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1952-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1953-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1954-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1955-12-31       1.0     1.0     1.0      10.0    10.0    10.0
1956-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1957-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1958-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1959-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1960-12-31       2.0     2.0     2.0      20.0    20.0    20.0
1961-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1962-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1963-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1964-12-31       NaN     NaN     NaN       NaN     NaN     NaN
1965-12-31       3.0     3.0     3.0      30.0    30.0    30.0

然后df.interpolate（method='time'）将根据最近的非NaN值及其相关的日期时间索引值线性插值缺失的NaN值。

import numpy as np
import pandas as pd

countries = 'Australia Austria Belgium'.split()
year = np.arange(1950, 1970, 5)
df = pd.DataFrame(
    {'Country': np.repeat(countries, len(year)),
     'Year': np.tile(year, len(countries)),
     'Avg1': np.tile(np.arange(len(year)), len(countries)),
     'Avg2': 10*np.tile(np.arange(len(year)), len(countries))})
df['Year'] = (df['Year'].astype('i8')-1970).view('datetime64[Y]')
df = df.pivot(index='Year', columns='Country')

df = df.resample('A').mean()
df = df.interpolate(method='time')

df = df.stack('Country')
df = df.reset_index()
df = df.sort_values(by=['Country', 'Year'])
print(df)

产量

         Year    Country      Avg1       Avg2
0  1950-12-31  Australia  0.000000   0.000000
3  1951-12-31  Australia  0.199890   1.998905
6  1952-12-31  Australia  0.400329   4.003286
9  1953-12-31  Australia  0.600219   6.002191
12 1954-12-31  Australia  0.800110   8.001095
15 1955-12-31  Australia  1.000000  10.000000
18 1956-12-31  Australia  1.200328  12.003284
21 1957-12-31  Australia  1.400109  14.001095
...