使用Pandas在某一列中使用以前的值每小时填充每组缺失的日期
我有以下数据帧（示例）：
import pandas as pd
data = [['A', '2022-09-01 10:00:00', False, 2], ['A', '2022-09-01 14:00:00', False, 3],
['B', '2022-09-01 13:00:00', False, 1], ['B', '2022-09-01 16:00:00', True, 4]]
df = pd.DataFrame(data = data, columns = ['group', 'date', 'indicator', 'value'])
group date indicator value
0 A 2022-09-01 10:00:00 False 2
1 A 2022-09-01 14:00:00 False 3
2 B 2022-09-01 13:00:00 False 1
3 B 2022-09-01 16:00:00 True 4
我想在每小时的日期之间填写缺失的日期。因此，应填写日期之间缺少的每一小时，并且值应与之前的数据相同。以下是所需的输出：
data = [['A', '2022-09-01 10:00:00', False, 2], ['A', '2022-09-01 11:00:00', False, 2],
['A', '2022-09-01 12:00:00', False, 2], ['A', '2022-09-01 13:00:00', False, 2],
['A', '2022-09-01 14:00:00', False, 3],
['B', '2022-09-01 13:00:00', False, 1], ['B', '2022-09-01 14:00:00', False, 1],
['B', '2022-09-01 15:00:00', False, 1], ['B', '2022-09-01 16:00:00', True, 4]]
df_desired = pd.DataFrame(data = data, columns = ['group', 'date', 'indicator', 'value'])
group date indicator value
0 A 2022-09-01 10:00:00 False 2
1 A 2022-09-01 11:00:00 False 2
2 A 2022-09-01 12:00:00 False 2
3 A 2022-09-01 13:00:00 False 2
4 A 2022-09-01 14:00:00 False 3
5 B 2022-09-01 13:00:00 False 1
6 B 2022-09-01 14:00:00 False 1
7 B 2022-09-01 15:00:00 False 1
8 B 2022-09-01 16:00:00 True 4
所以我想知道是否可以使用Pandas每组每小时用列值中的前一个值填充缺失的日期？
共有3个答案
一种选择是使用来自py toolter的complete，以公开丢失的行:
# pip install pyjanitor
import pandas as pd
import janitor
df['date'] = pd.to_datetime(df['date'])
# build a dictionary to contain the new dates
# the key of the dictionary must exist in the dataframe
new_date = {'date': lambda date: pd.date_range(date.min(), date.max(), freq='H')}
df.complete(new_date, by = 'group').ffill(downcast='infer')
group date indicator value
0 A 2022-09-01 10:00:00 False 2
1 A 2022-09-01 11:00:00 False 2
2 A 2022-09-01 12:00:00 False 2
3 A 2022-09-01 13:00:00 False 2
4 A 2022-09-01 14:00:00 False 3
5 B 2022-09-01 13:00:00 False 1
6 B 2022-09-01 14:00:00 False 1
7 B 2022-09-01 15:00:00 False 1
8 B 2022-09-01 16:00:00 True 4
这是另一种方式
df['date']=pd.to_datetime(df['date'])
df2=(df.set_index('date' )
.groupby('group', group_keys=False)
.apply(lambda x: x.resample('1H').ffill())
.reset_index() )
df2
date group indicator value
0 2022-09-01 10:00:00 A False 2
1 2022-09-01 11:00:00 A False 2
2 2022-09-01 12:00:00 A False 2
3 2022-09-01 13:00:00 A False 2
4 2022-09-01 14:00:00 A False 3
5 2022-09-01 13:00:00 B False 1
6 2022-09-01 14:00:00 B False 1
7 2022-09-01 15:00:00 B False 1
8 2022-09-01 16:00:00 B True 4
您可以使用：
df['date'] = pd.to_datetime(df['date'])
out = (df
.groupby('group', as_index=False, group_keys=False)
.apply(lambda g: g.set_index('date')
.reindex(pd.date_range(g['date'].min(),
g['date'].max(),
freq='H'))
.ffill(downcast='infer').reset_index()
)
.reset_index(drop=True)
)
输出：
index group indicator value
0 2022-09-01 10:00:00 A False 2
1 2022-09-01 11:00:00 A False 2
2 2022-09-01 12:00:00 A False 2
3 2022-09-01 13:00:00 A False 2
4 2022-09-01 14:00:00 A False 3
5 2022-09-01 13:00:00 B False 1
6 2022-09-01 14:00:00 B False 1
7 2022-09-01 15:00:00 B False 1
8 2022-09-01 16:00:00 B True 4
-
问题内容： 这应该很简单，但是我发现的最接近的内容是这篇文章： pandas：填充组中的缺失值，但我仍然无法解决我的问题。 假设我有以下数据框 我想在每个“名称”组中用平均值填写，即 我不确定要去哪里： 问题答案： 一种方法是使用：
-
我有以下数据帧（示例）： 我想每组每小时填写缺失的日期，其中值与前一个现有行相同。当前一个现有行的指示符为真时，我想用False而不是真的指示符填充这些缺失的行，但值虽然相同。这是所需的输出： 如您所见，每个组每小时填写一次日期，当上一个指标为True时，指标变为False。 所以我想知道是否有人知道如何每组每小时填写这些缺失的日期，并使用注意指标何时为真？
-
我有以下数据帧（示例）： 我想用每组前一天的值来填写缺失的日期。我可以使用这个答案中的代码，但问题是我可能在每个组中都有重复的条目(日期)。返回以下错误: 我想要的输出应如下所示： 一些日期解释说: A组缺少日期“2022-09-03”和“2022-09-05”。如您所见，这些值来自上一个日期 B组缺少日期“2022-09-02”、“2022-09-06”和“2022-009-09”。对于这些，它
-
我有一个缺少“SNAP_ID”值的数据帧。我想根据前一个非缺失值（lag（）？）的序列，用浮点值填充缺失值。如果可能的话，我真的想只用dplyr来实现这一点。 假设： 永远不会有丢失的数据，因为第一行或最后一行我根据数据集的最小值和最大值之间的缺失天数生成缺失的日期 数据集中可能存在多个空白 当前数据： 我想要实现的目标: 作为数据帧: 这是我实现这个目标的尝试，但它只适用于第一个缺失的值： 来自
-
假设我有以下数据。 我想用以前的值填充缺少的日期(按字段“g”分组)。例如，我想在上面的示例中添加以下主菜: 我该怎么做呢？
-
有没有办法用熊猫来计算某个值在每一列中出现的次数？ 数据= pd。DataFrame({'userID':['Luis '，' Mike '，' Harvey']，' category1':[True，False，True]，' category2': [True，True，False]，' category3':[False，False，False]}) 假设我想计算每个类别中“真”布尔值的数量