如何在Dataframes中将列类型从字符串更改为日期？

Question

我有一个dataframe有两列(C，D)被定义为string列类型，但列中的数据实际上是日期。例如，C列的日期为“01-apr-2015”，而D列的日期为“20150401”。我想将这些数据更改为日期列类型，但我没有找到一个好的方法。我查看了在Spark SQL的DataFrame中将string列类型转换为Date列类型所需的堆栈溢出。日期格式可以是“01-apr-2015”，我看了这篇文章，但它没有与日期相关的信息

Answer 1

火花>=2.2

可以使用to_date:

import org.apache.spark.sql.functions.{to_date, to_timestamp}

df.select(to_date($"ts", "dd-MMM-yyyy").alias("date"))

或to_timestamp:

df.select(to_date($"ts", "dd-MMM-yyyy").alias("timestamp"))

import org.apache.spark.sql.functions.{unix_timestamp, to_date}

val df = Seq((1L, "01-APR-2015")).toDF("id", "ts")

df.select(to_date(unix_timestamp(
  $"ts", "dd-MMM-yyyy"
).cast("timestamp")).alias("timestamp"))

如果使用未修补版本UNIX_TIMESTAMP，输出需要乘以1000。