Python/PySpark中复制dataframe列的最佳实践？

Question

谢谢。

Answer 1

我遇到的这个有趣的例子展示了两种方法和更好的方法，并同意另一种答案。这是Scala，而不是pyspark，但同样的原则适用，尽管示例不同。

import org.apache.spark.sql.functions._
import spark.implicits._

val df = Seq(
             ("1","2", "3"),
             ("4", "5", "6"),
             ("100","101", "102")
            ).toDF("c1", "c2", "c3")

这是昂贵的，即withColumn，它为每次迭代创建一个新的DF：

val df2 = df.columns.foldLeft(df) { case (df, col) =>
          df.withColumn(col, df(col).cast("int"))
          }
//df2.show(false)

这样更快。

val df3 = df.select(df.columns.map { col =>
          df(col).cast("int")
          }: _*)
//df3.show(false)