Spark Scala:如何在DF中转换列

Question

我在Spark中有一个数据框架，其中包含许多列和我定义的udf。我想要返回相同的数据帧，除了一列被转换。此外，我的udf接收字符串并返回时间戳。有一个简单的方法可以做到这一点吗？我试过了

val test = myDF.select("my_column").rdd.map(r => getTimestamp(r)) 

但这返回一个RDD，并且只返回转换后的列。

Answer 1

如果你真的需要使用你的功能，我可以建议两个选项：

>

使用map/toDF：

import 组织.apache.spark.sql.行导入sqlContext.implicits._

def getTimestamp:（字符串=

val test = myDF.select（“my_column”）.rdd.map { case Row（string_val： String） =

使用自定义函数（UserDefinedFunction）：

进口org.apache.spark.sql.functions._

def getTimestamp:（字符串=

val newCol=udf（getTimestamp）. application（"my_column")) // 创建新列val test=myDF.withColumn（"new_column"， newCol）//将新列添加到原始DF

或者，

如果只想将字符串类型列转换为时间戳类型列，则可以使用 Spark SQL 1.5 中提供的unix_timestamp列函数：

val test = myDF
  .withColumn("new_column", unix_timestamp(col("my_column"), "yyyy-MM-dd HH:mm").cast("timestamp"))

注意：对于Spark 1.5. x，在转换为时间戳之前，需要将unix_timestamp的结果乘以1000（问题SPARK-11724）。生成的代码将是：

val test = myDF
  .withColumn("new_column", (unix_timestamp(col("my_column"), "yyyy-MM-dd HH:mm") *1000L).cast("timestamp"))

编辑：添加自定义项选项