根据条件替换和合并熊猫中的行

Question

我有一个数据框架:

   lft rel rgt num
0   t3  r3  z2  3
1   t1  r3  x1  9
2   x2  r3  t2  8
3   x4  r1  t2  4
4   t1  r1  z3  1
5   x1  r1  t2  2
6   x2  r2  t4  4
7   z3  r2  t4  5
8   t4  r3  x3  4
9   z1  r2  t3  4

和一本参考词典:

replacement_dict = {
    'X1' : ['x1', 'x2', 'x3', 'x4'],
    'Y1' : ['y1', 'y2'],
    'Z1' : ['z1', 'z2', 'z3']
}

我的目标是将所有出现的< code > replacement _ dict[' X1 ']替换为' X1 '，然后将这些行合并在一起。例如，“x1”、“x2”、“x3”或“x4”的任何实例都将被替换为“X1”等。

我可以通过选择包含任何这些字符串的行并将其替换为“X1”来实现这一点：

keys = replacement_dict.keys()
for key in keys:
    DF.loc[DF['lft'].isin(replacement_dict[key]), 'lft'] = key
    DF.loc[DF['rgt'].isin(replacement_dict[key]), 'rgt'] = key

给予：

    lft rel rgt num
0   t3  r3  Z1  3
1   t1  r3  X1  9
2   X1  r3  t2  8
3   X1  r1  t2  4
4   t1  r1  Z1  1
5   X1  r1  t2  2
6   X1  r2  t4  4
7   Z1  r2  t4  5
8   t4  r3  X1  4
9   Z1  r2  t3  4

现在，如果我选择所有包含“X1”的行并将它们合并，我将得到：

    lft rel rgt num
0   X1  r3  t2  8
1   X1  r1  t2  6
2   X1  r2  t4  4
3   t1  r3  X1  9
4   t4  r3  X1  4

因此，三列 ['lft'， 'rel'， 'rgt'] 是唯一的，而 “num” 列是这些行中的每一行相加的。上面的第 1 行 ： ['X1' 'r1' 't2' 6] 是两行 ['X1' 'r1' 't2' 4] 和 ['X1' 'r1' 't2' 2] 的总和。

对于少量的行，我可以很容易地做到这一点，但是我正在使用具有600万行的数据框和具有60,000个键的替换字典。使用简单的行明智提取和替换需要很长时间。

这（特别是最后一部分）如何有效地缩放？有人可以推荐熊猫的技巧吗？

Answer 1

Pandas内置了函数替换，比使用. loc浏览整个数据框更快

您还可以在其中传递一个列表，使我们的字典非常适合它

keys = replacement_dict.keys()

# Loop through every value in our dictionary and get the replacements

for key in keys:
  DF = DF.replace(to_replace=replacement_dict[key], value=key)

Answer 2

试试这个，我评论道

#reverse dict to dissolve the lists as values
reversed_dict = {v:k for k,val in replacement_dict.items() for v in val}

# replace the values
cols = ['lft', 'rel', 'rgt']
df[cols] = df[cols].replace(reversed_dict)

# filter rows where X1 is anywhere in the columns
df = df[df.eq('X1').any(axis=1)]

# sum the duplicate rows
out = df_filtered.groupby(cols).sum().reset_index()
print(out)

输出：

  lft rel rgt  num
0  X1  r1  t2    6
1  X1  r2  t4    4
2  X1  r3  t2    8
3  t1  r3  X1    9
4  t4  r3  X1    4

Answer 3

反转＜code＞replacement_dict＜/code＞映射和＜code＞map（）＜/code>此新映射到每个lft和rgt列，以替换某些值（例如x1-

您还可以将值需要替换的列（lft和rgt）堆叠（）），调用map fillna和unstack（），但由于只有2列，因此对于这种特殊情况可能不值得麻烦。

问题的第二部分可以通过在按lft、rel和rgt列分组之后求和num值来回答；所以＜code＞groupby（）。sum（）应该能做到这一点。

# reverse replacement map
reverse_map = {v : k for k, li in replacement_dict.items() for v in li}

# substitute values in lft column using reverse_map
df['lft'] = df['lft'].map(reverse_map).fillna(df['lft'])
# substitute values in rgt column using reverse_map
df['rgt'] = df['rgt'].map(reverse_map).fillna(df['rgt'])

# sum values in num column by groups
result = df.groupby(['lft', 'rel', 'rgt'], as_index=False)['num'].sum()

¹：map（） fillna（） 可能比 replace（） 更适合您的用例，因为在引擎盖下，map（） 实现了一个 Cython 优化的 take_nd（） 方法，如果有很多值要替换，则该方法的性能特别好，而 replace（） 实现了使用 Python 循环replace_list（） 方法。因此，如果replacement_dict特别大（在你的情况下就是这样），性能的差异将是巨大的，但如果replacement_dict很小，replace（）可能会优于map（）。