如何从列名列表中动态创建结构列？

Question

我有一个包含100列的数据框：

root
 |-- column1
 |-- column2
 |-- column3
 |-- column4
 |-- column5

我有一个列名列表：

结构列表=['column4'，'column3'，'column2']

预期架构：

root
 |-- column1
 |-- column2
 |-- column3
 |-- column4
 |-- column5
 |-- prev_val 
       |-- column4
       |-- column3
       |-- column2

目前，我正在对以下值进行硬编码：

df=df.withColumn("prev_val",f.struct(f.col("column4"),f.col("column3"),f.col("column2"))

是否有一种方法可以动态传递列表中的值？

Answer 1

您可以使用列表理解：

import pyspark.sql.functions as f

struct_list = ['column4','column3','column2']

df2 = df.withColumn(
    "prev_val",
    f.struct(*[f.col(c) for c in struct_list])
)

实际上，您甚至不需要f.col。您可以直接传递列名：

df2 = df.withColumn(
    "prev_val",
    f.struct(*struct_list)
)