通过groupby确定开始/结束日期

Question

我试图找到一种干净的Python/Pandas方法来获取以下数据帧：

ID  Date_Field Category 
12345 01/01/12 AAAA
12345 01/02/12 AAAA
12345 01/03/12 AAAA
12345 01/04/12 BBBB
12345 01/05/12 BBBB
12345 01/06/12 BBBB
2468  01/01/12 AAAA
2468  01/02/12 AAAA
2468  01/03/12 AAAA
2468  01/04/12 BBBB
2468  01/05/12 BBBB
2468  01/06/12 BBBB
2468  01/07/12 BBBB
2468  01/08/12 CCCC
2468  01/09/12 CCCC
2468  01/10/12 AAAA
2468  01/11/12 AAAA

并将其转换为类似于此的数据帧，即每个ID/类别都有开始/结束日期，但需要注意的是，如果在以下两个日期之间存在日期间隔，则ID/类别组合可能会出现多次：

ID  Start_Date End_Date Category
12345 01/01/12 01/03/12 AAAA
12345 01/04/12 01/06/12 BBBB
2468  01/01/12 01/03/12 AAAA
2468  01/10/12 01/11/12 AAAA
2468  01/04/12 01/07/12 BBBB
2468  01/08/12 01/09/12 CCCC

我知道我可以通过迭代和与前面的行值进行比较来实现，但我感觉有一种更干净的方法。

Answer 1

您可以执行groupby。如果只需要一列，可以执行以下操作：

>>> df.groupby(['ID','Category']).min()

               Date_Field
ID    Category           
2468  AAAA       01/01/12
      BBBB       01/04/12
      CCCC       01/08/12
12345 AAAA       01/01/12
      BBBB       01/04/12

要做到最大，你可以这样回答：

>>> df.groupby(['ID','Category']).agg({'Date_Field' : [min, max]})

               Date_Field          
                      min       max
ID    Category                     
2468  AAAA       01/01/12  01/11/12
      BBBB       01/04/12  01/07/12
      CCCC       01/08/12  01/09/12
12345 AAAA       01/01/12  01/03/12
      BBBB       01/04/12  01/06/12

编辑：

group pby会生成一个以分组列为索引的DataFrame，以禁用这个addas_index=False：

>>> df.groupby(['ID','Category'], as_index=False).agg({'Date_Field' : [min, max]})

      ID Category Date_Field          
                         min       max
0   2468     AAAA   01/01/12  01/11/12
1   2468     BBBB   01/04/12  01/07/12
2   2468     CCCC   01/08/12  01/09/12
3  12345     AAAA   01/01/12  01/03/12
4  12345     BBBB   01/04/12  01/06/12

编辑2：

要分离具有相同ID和类别的数据的不同时间间隔，我们必须添加一个新类别：

df['Cat2']=0
for i in range(2,len(df)):
   if df['Category'].iloc[i]==df['Category'][i-1]:
     df['Cat2'].iloc[i]=df['Cat2'].iloc[i-1]
   else:
     df['Cat2'].iloc[i]=df['Cat2'].iloc[i-1]+1

这个for循环创建一个新的Cat2列，如果前一行（i-1）具有相同的类别，则该列将具有相同的值，否则将创建一个新值（前1）。注意，这个方法纯粹取决于数据的顺序！现在我们可以将其添加到Groupby类别中：

 >>> df.groupby(['ID','Category','Cat2'], as_index=False).agg({'Date_Field' : [min, max]})

      ID Category Cat2 Date_Field          
                              min       max
0   2468     AAAA    2   01/01/12  01/03/12
1   2468     AAAA    5   01/10/12  01/11/12
2   2468     BBBB    3   01/04/12  01/07/12
3   2468     CCCC    4   01/08/12  01/09/12
4  12345     AAAA    0   01/01/12  01/03/12
5  12345     BBBB    1   01/04/12  01/06/12