Athena date_parse用于带有可选毫秒字段的日期

Question

我在S3中有一个日期，我用它创建了一个雅典娜表。我在S3中有一些json格式的日期条目，在运行查询时，Athena不接受这些条目作为日期或时间戳。

    {"creationdate":"2018-09-12T15:49:07.269Z", "otherfield":"value1"}
    {"creationdate":"2018-09-12T15:49:07Z", "otherfield":"value2"}

AWS Glue将这两个字段都作为字符串，并且当将它们分别更改为timestamp和date时，围绕timestamp的查询将不起作用，从而在timestamp字段上提供ValidationError。

无论如何，我找到了一种使用prestodb date_parse函数的方法，但它也不能工作，因为有些字段有毫秒，而其他字段没有。

    parse_datetime(creationdate, '%Y-%m-%dT%H:%i:%s.%fZ')
    parse_datetime(creationdate, '%Y-%m-%dT%H:%i:%sZ')

这两个都失败了，因为存在不同的条目，即一个有毫秒的%f和一个没有，有没有办法提供一个解析器，正则表达式，以便能够在sql查询执行期间将这些字符串转换为日期？

Answer 1

您可以使用from_iso8601_timestamp函数，而不是提供时间戳格式。

这样，所有的时间戳都会被解析。

select from_iso8601_timestamp(creationdate) from table1;