火花 udf 最大多列;类型错误： float（） 参数必须是字符串或数字，而不是“行”

Question

我试图从列列表中获取最大值，以及具有最大值的列的名称，如这些帖子中所述PySpark：计算列子集的行最大值并添加到现有的数据帧
中如何获取pyspark数据帧中具有最大值的列的名称我已经查看了许多帖子并尝试了许多选项，但尚未成功。

列对象不可调用TypeError：“列”对象不可调用，请使用SusCol列并传递多列Pyspark：在UDF中传递多列

加载到数据帧Rule_Total_Score的表中的列：双，Rule_No_Identifier_Score：双

rules = ['Rule_Total_Score', 'Rule_No_Identifier_Score']
df = spark.sql('select * from  table')

@f.udf(DoubleType())
def get_max_row_with_None(*cols):
    return float(max(x for x in cols if x is not None))

sdf = df.withColumn("max_rule", get_max_row_with_None(f.struct([df[col] for col in df.columns if col in rules])))

Answer 1

UDF接受列列表而不是结构列，因此如果传入列并删除f。struct，希望它能工作：

@f.udf(DoubleType())
def get_max_row_with_None(*cols):
    if all(x is None for x in cols):
        return None
    else:
        return float(max(x for x in cols if x is not None))

sdf = df.withColumn(
    "max_rule", 
    get_max_row_with_None(*[df[col] for col in df.columns if col in rules])
)