如何使用Java将unix epoch列转换为Apache spark DataFrame中的日期？

Question

我有一个json数据文件，其中包含一个属性[creationDate]，它是“长”数字类型的unix epoc。Apache Spark DataFrame模式如下所示：

root 
 |-- creationDate: long (nullable = true) 
 |-- id: long (nullable = true) 
 |-- postTypeId: long (nullable = true)
 |-- tags: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- title: string (nullable = true)
 |-- viewCount: long (nullable = true)

我想做一些groupBy“creationdata_year”，这些groupBy需要从“creationdate”获得。

使用Java在DataFrame中进行这种转换的最简单方法是什么？

Answer 1

在检查了spark dataframe api和sql函数之后，我得到了下面的代码片段：

DateFrame df = sqlContext.read().json("MY_JSON_DATA_FILE");

DataFrame df_DateConverted = df.withColumn("creationDt", from_unixtime(stackoverflow_Tags.col("creationDate").divide(1000)));

“CreationDate”列被“1000”除以的原因是时间单位不同。orgin“creationdate”是以“毫秒”为单位的unix epoch,而spark sql“from_unixtime”则设计用于处理以“秒”为单位的unix epoch。