熊猫中的Groupby，用[]填充缺失的组

Question

欢迎提供任何关于这个问题更准确标题的帮助。。

我有一个pandas数据框，其中包含客户级别的观察结果，记录日期以及客户在该日期消费的物品。看起来像这样。

df
store    day   items
 a        1     4
 a        1     3
 a        2     1
 a        3     5
 a        4     2 
 a        5     9
 b        1     1 
 b        2     3

此数据集中的每个观察值都与一个独特的存储日组合有关，但每个存储日观察值都是以消耗的物品的正数为条件列出的，即df[物品]

所以我没有比如说

b         3      0
b         4      0 
b         5      0

等

我需要按store和day对该数据帧进行分组，然后对每个store day组中的所有OB运行一些操作。

但是，我希望这些行存在并且长度为0（空集），我不确定这样做的最佳方式。这是一个非常简单的玩具数据集。真正的那个很大。

我真的不想在使用df.groupby（['store'，day']）之前添加观察值，因为我对每个门店日组运行其他计算，使用每个组的长度作为特定门店和日期中记录的客户数的度量。因此，如果我加入这些观察结果b3和b4，那么看起来有2位客户在第3天和第4天访问了b店，而实际上没有（在第3天和第4天，每个人都没有在b店购买任何东西）。




Answer 1

表示这些数据的“熊猫”方式可能是将其编码为缺失数据，如：

In [562]: df
Out[562]: 
  store  day  items
0     a    1      4
1     a    1      3
2     a    2      1
3     a    3      5
4     a    4      2
5     a    5      9
6     b    1      1
7     b    2      3
8     b    3    NaN
9     b    4    NaN

然后，在计算客户的聚合中，您可以使用排除缺失值的count，例如：

In [565]: df.groupby('store')['items'].count()
Out[565]: 
store
a        6
b        2
Name: items, dtype: int64

编辑：

在添加缺失值方面，这里有几个想法。假设您有一个DataFrame，其中只包含缺失的数据对，如下所示：

In [571]: df_missing
Out[571]: 
  store  day
8     b    3
9     b    4

然后，您可以将这些数据添加到现有的数据帧中，以填充缺少的数据帧，如下所示：

In [574]: pd.concat([df, df_missing], ignore_index=True)
Out[574]: 
   day  items store
0    1      4     a
1    1      3     a
2    2      1     a
3    3      5     a
4    4      2     a
5    5      9     a
6    1      1     b
7    2      3     b
8    3    NaN     b
9    4    NaN     b

或者，如果您使用“应该”拥有的对（A1-5，B1-4）创建一个数据帧，您可以将其与数据合并以填充缺失的数据。例如：

In [577]: df_pairs
Out[577]: 
  store  day
0     a    1
1     a    1
2     a    2
3     a    3
4     a    4
5     a    5
6     b    1
7     b    2
8     b    3
9     b    4

In [578]: df_pairs.merge(df, how='left')
Out[578]: 
   store  day  items
0      a    1      4
1      a    1      3
2      a    1      4
3      a    1      3
4      a    2      1
5      a    3      5
6      a    4      2
7      a    5      9
8      b    1      1
9      b    2      3
10     b    3    NaN
11     b    4    NaN

Answer 2

我不知道存储零值的最佳方法，但您可以在聚合时创建零值：

df.pivot_table('items', 'store', 'day', fill_value=0, aggfunc='count')

或

df.groupby(['store', 'day']).count().unstack().fillna(0)

Answer 3

你可能已经有了问题的答案，以防有人像我一样在寻找答案。尝试：

pd.crosstab(df.store, df.day, margins=False)

这将为您提供以store为索引，以day为列的df。

df.reset_index(level=0, inplace=True) 

要将索引转换为列，如果有多个索引列，请执行以下操作：

df.columns = [''.join(col).strip() for col in df.columns.values]

以获得“平坦”df。

您可以这样做：

pd.crosstab([df.store, df.day.....], [df.store, df.day.....],margins=False)