用Dask掩码替换多个值

Question

当incol的值为1时，我有这个Daskmask代码在Dask数据帧中设置3：

ddf['outcol'] = ddf['incol'].mask(ddf['incol'] == 1, 3)

现在，我必须替换给定的50个条件的值，例如：

if `incol` == 1 then set 3
if `incol` == 2 then set 8
: : :
: : :

在一个Dask语句中（不必是mask)是否可以做到这一点？

Answer 1

只要这些替换不依赖于不同行之间的值，因此可以按任何顺序应用，就可以使用.map_partitions来实现：

def apply_masks(df):
   # implement the mask logic here, for example
   df['outcol'] = df['incol'].mask(df['incol'] == 1, 3)
   return df

ddf = ddf.map_partitions(apply_masks)

重复应用.mask()可能存在问题，因为它将覆盖以前的结果。如果您的应用程序是这样的，您正在写入同一列outcol，那么您可能需要.replace或.map选项（有关这些选项之间区别的良好解释，请参阅此答案）。

因此，在这种情况下，工作流程将是：

import pandas as pd
df = pd.DataFrame(range(10), columns=['incol'])

import dask.dataframe as dd
ddf = dd.from_pandas(df, npartitions=3)

replace_logic = {
    1: 3,
    2: 8,
    3: 2,
    # and so on ...
}

ddf['outcol'] = ddf['incol'].map(replace_logic).fillna(ddf['incol']).astype('int')

print(ddf.compute())