在不影响现有数据的情况下更新拼花地板文件的数据类型

Question

我有一个带有多列的拼花文件，其中一列是例如：带有数据类型时间戳的cola。在S3路径上创建了外部Athena非分区表。我想将cola的数据类型从时间戳更改为日期，而无需重新运行或影响存量数据。

有没有办法做到这一点？

谢谢

Answer 1

如果您不添加新文件，或者新文件也会附带时间戳，请在使用时强制转换：

sql prettyprint-override">SELECT DATE(a) AS a, ... FROM table

如果您将有带有日期列的新文件，那就更复杂了。您不能有混合类型的列。它必须是日期或时间戳。

一种解决方法是创建一个名为like a2的新列，使用日期类型，在新文件中使用它，并将其添加到粘合模式中。Glue可以处理缺少的列，因此旧文件中的行将填充a，但为空，反之亦然。

从现在开始，您可以将所有文件用作：

SELECT COALESCE(DATE(a), a2) AS a, ... FROM table

但是，我更建议保持文件整洁，并使用一些ETL工具将旧拼花文件转换为当前模式。