折叠行以省去NaN条目

Question

让我们考虑以下DataFrame

我想折叠它以限制数据帧中NaN值的数量-可以是连续的，也就是说，如果可能的话，合并相邻的行，但我所关心的是，折叠后列A-D的值对应于相同的名称

我的完美结局是

据我所知，PandasGroupby（'Name'）不会做到这一点，因为它会为每个名称留下一个条目。

如果这有帮助的话，我使用字典来创建数据帧。字典如下所示：

{
    "a": {
        "tom": [10.0, 30.0],
        "john": [1.0, 5.0]
    },
    "b": {
        "tom": [15.0],
        "john": [2.0, 6.0]
    },
    .....
}

所以，基本上，我会把字典里的每一个数字都记下来，然后用这个数字创建一行，然后合并所有的行。

有没有一个简单的方法来折叠生成的DataFrame或构建一个更紧凑的DataFrame给定这样的字典

Answer 1

您可以.groupby.transform（将值向上“移动”）。然后删除包含所有NaN值的行：

print(
    df.set_index("Name")
    .groupby(level=0)
    .transform(lambda x: sorted(x, key=lambda k: pd.isna(k)))
    .dropna(axis=0, how="all")
    .reset_index()
)

打印：

   Name     A     B     C     D
0   tom  10.0  15.0  20.0  25.0
1   tom  30.0   NaN   NaN  40.0
2  john   1.0   2.0   3.0   4.0
3  john   5.0   6.0   7.0   8.0