Spark Scala从日期创建时间戳列

Question

我通过连接单独的月、日、年和时间列创建了日期列，但是月和日列的输入数据形式为1，而不是01表示月和日。这是我返回空列的原因吗？还是有其他原因？如果这就是原因，那么如何将日和月列从1改为01、2改为02、…？

这是我第一次使用时间戳，而且我是Scala新手，所以我非常感谢您的帮助。

Answer 1

只能指定一个字母M、D和H。Spark将使用该字段包含的最小位数。请注意，您的时间戳字符串没有秒，因此不应包括:ss。

val New_DF = Old_DF.withColumn("Timestamp", unix_timestamp($"Date", "M/d/yyyy h:mm a"))

有关日期时间格式化的更多细节，请参见https://docs.oracle.com/javase/7/docs/api/java/text/simpledateformat.html。特别是：

数字：对于格式化，模式字母的数量是最小位数，较短的数字为零填充到这个数量。对于解析，模式字母的数量被忽略，除非需要分隔两个相邻的字段。