使用scala将转换后的列追加到spark数据帧

Question

我正在尝试访问配置单元表，并从表/数据帧中提取和转换某些列，然后将这些新列放入新的数据帧中。我试着用这种方式-

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

val hiveDF = sqlContext.sql("select * from table_x")

val system_generated_id = hiveDF("unique_key")
val application_assigned_event_id = hiveDF("event_event_id")

val trnEventDf = sqlContext.emptyDataFrame
trnEventDf.withColumn("system_generated_id",lit(system_generated_id))

它使用SBT构建时没有任何错误。但当我尝试运行它时，我收到以下错误-

我想了解是什么导致了这个错误，如果有任何其他的方法来完成我正在尝试做的事情。

Answer 1

通常，您不需要为此创建新的df。当您通过向df添加唯一的Id来转换它时，您就得到了您想要的df。如果您想保存它，只需将它保存为新的配置单元表。