AWS Athena:HIVE_BAD_DATA错误：parquet中的字段类型DOUBLE与表架构中定义的类型不兼容

Question

我使用AWS Athena查询存储在S3的一些数据，即使用pyarrow压缩的分区拼花文件。

我有三列包含字符串值，一列称为“key”，包含int值，另一列名为“result”，包含double和int值。

有了这些列，我创建了架构，如下所示：

create external table (
    key int,
    result double,
    location string,
    vehicle_name string.
    filename string
)

当我查询桌子时，我会得到

HIVE_BAD_DATA：镶木地板中的字段结果类型INT64与表模式中定义的类型DOUBLE不兼容

因此，我修改了一个模式，其结果数据类型为＜code＞INT＜/code＞。

然后我查询这个表，

HIVE _ BAD _ DATA:parquet中的字段结果类型DOUBLE与表模式中定义的类型INT不兼容

我环顾四周，试图了解为什么会发生这种情况，但没有找到解决方案。

任何建议都非常感谢。

Answer 1

在我看来，这就像你有一些文件，其中列被键入为双精度，而另一些文件则被键入为int。当您将表的列键入为双 Athena 时，Athena 最终将读取相应列为 int 的文件并抛出此错误，反之亦然，如果您将表列键入为 int，则反之亦然。

据我所知，Athena不做类型强制，但即使做了，类型也是不兼容的:Athena中的DOUBLE列不能表示一个Parquet INT64列的所有可能值，Athena中的INT列不能表示一个浮点数(对于Parquet INT64，Athena中需要一个BIGINT列)。

解决方案是确保您的文件都具有相同的模式。您可能需要在生成文件的代码中明确说明要生成什么模式(例如，让它总是使用DOUBLE)。