如何使用在 Hive 中使用 Apache Drill 创建的 Parquet 文件

Question

Apache Drill有一个很好的功能，可以从许多传入的数据集中制作镶木地板文件，但是似乎没有太多关于如何稍后使用这些镶木地板文件的信息 - 特别是在Hive中。

Hive有没有办法利用这些“1_0_0.parquet”等文件？也许创建一个表并从拼花文件加载数据，或者创建一个表并以某种方式将这些拼花文件放在hdfs中，以便Hive读取它？

Answer 1

我遇到过这个问题，如果您使用的是Cloudera发行版，您可以使用impala（impala和Hive共享metastore）创建表，它允许从拼花文件创建表。不幸的是，Hive不允许这样做

CREATE EXTERNAL TABLE table_from_fileLIKE PARQUET     '/user/etl/destination/datafile1.parquet'
STORED AS PARQUET
LOCATION '/user/test/destination';