使用pandas[重复]按组获取计数

Question

我有一个熊猫数据框，其中包含如下所示的数据：

ID  year_month_id   Class
1   201612          A
2   201612          D
3   201612          B
4   201612          Other
5   201612          Other
6   201612          Other
7   201612          A
8   201612          Other
9   201612          A
1   201701          B

所以ID可以在特定月份的任何类下，下个月他的类可能会改变。现在我想做的是，为每个ID获取它在特定类别下的月数，以及它属于的最新类别。像下面这样：

ID  Class_A Class_B Class_D Other Latest_Class
1   2        3       4         0    B
2   12       0       0         0    D

如何在python中实现这一点。有人能帮我吗？另外，由于真实的数据集是巨大的，并且无法手动验证，我如何才能获得属于多个类的ID列表？

Answer 1

您可以通过groupbyvalue\u countsunstack-

g = df.groupby('ID')
i = g.Class.value_counts().unstack(fill_value=0)

要获取最后一个类，请使用Groupbylast-

j = g.Class.last()

连接以获得结果-

pd.concat([i, j], 1).rename(columns={'Class': 'LastClass'})

    A  B  D  Other LastClass
ID                          
1   1  1  0      0         B
2   0  0  1      0         D
3   0  1  0      0         B
4   0  0  0      1     Other
5   0  0  0      1     Other
6   0  0  0      1     Other
7   1  0  0      0         A
8   0  0  0      1     Other
9   1  0  0      0         A

要获得每行超过1个ID的列表，请使用suma掩码-

k = i.sum(axis=1)
k[k > 1]

ID
1    2
dtype: int64

Answer 2

您可以通过Groupby获取计数，并通过聚合count，然后通过unstack重塑。最后添加带有drop_duplicates的新列：

df1 = df.groupby(['ID','Class'])['year_month_id'].count().unstack(fill_value=0)
df1['Latest_Class'] = df.drop_duplicates('ID', keep='last').set_index('ID')['Class']
print (df1)
Class  A  B  D  Other Latest_Class
ID                                
1      1  1  0      0            B
2      0  0  1      0            D
3      0  1  0      0            B
4      0  0  0      1        Other
5      0  0  0      1        Other
6      0  0  0      1        Other
7      1  0  0      0            A
8      0  0  0      1        Other
9      1  0  0      0            A

Answer 3

我们可以使用透视表和concat，即

ndf = df.pivot_table(index=['ID'],columns=['Class'],aggfunc='count',fill_value=0)\
    .xs('year_month_id', axis=1, drop_level=True)

ndf['latest'] = df.sort_values('ID').groupby('ID')['Class'].tail(1).values

Class  A  B  D  Other latest
ID                          
1      1  1  0      0      B
2      0  0  1      0      D
3      0  1  0      0      B
4      0  0  0      1  Other
5      0  0  0      1  Other
6      0  0  0      1  Other
7      1  0  0      0      A
8      0  0  0      1  Other
9      1  0  0      0      A