Spark DataFrame如何在没有连接的情况下更改一列的排列[重复]

Question

我正在尝试使用Pyspark来置换dataframe中的一列，也就是在行间洗牌单个列的所有值。

# for some dataframe spark_df
new_df = spark_df.select(colname).sort(colname)
new_df.show() # column values sorted nicely
spark_df.withColumn("ha", new_df[colname]).show() 
# column "ha" no longer sorted and has same permutation as spark_df.colname

编辑：对不起，如果我的问题不清楚，我只是想用它的排序版本替换一个列，而不做联接。感谢您指出dfs不是可变的，但即使执行spark_df.withcolumn（“ha”,spark_df.select(colname).sort(colname)[colname]).show()也会显示列'ha'与'colname'具有相同的排列，而对列本身执行排序则显示不同的排列。问题主要是关于为什么排列在新列“ha”中保持不变，而不是关于如何替换列。再次感谢！（也改了标题以更好地反映问题）

Answer 1

Spark dataframes和RDDs是不可变的。每进行一次转换，就会创建一个新的转换。因此，当执行new_df=spark_df.select(colname).sort(colname)时，spark_df保持不变。只有new_df进行排序。这就是为什么spark_df.withcolumn（“ha”,new_df[colname])返回未排序的DataFrame。

请尝试new_df.withcolumn（“ha”,new_df[colname])。