来自spark分区拼花文件的Impala表

Question

我已经使用Spark生成了一些分区拼花地板数据，我想知道如何将其映射到Impala表。。。遗憾的是，我还没有找到任何解决办法。

拼花地板的架构如下：

{ key: long,
value: string,
date: long }

我用key和date对其进行了分区，这为我的hdfs提供了这种目录：

/data/key=1/date=20170101/files.parquet
/data/key=1/date=20170102/files.parquet
/data/key=2/date=20170101/files.parquet
/data/key=2/date=20170102/files.parquet
...

您知道我如何告诉Impala从这个数据集创建一个具有相应分区的表（并且不必像我读到的那样在每个分区上循环）？有可能吗？

提前谢谢你

Answer 1

假设parquet的模式是指数据集的模式，然后使用列进行分区，那么在实际的文件中只有键列。拼花地板文件。现在，您可以按以下步骤进行操作

解决方案是使用黑斑羚外部表。

create external table mytable (key BIGINT) partitioned by (value String ,
date BIGINT) stored as parquet location '....../data/'

注意，在上面的语句中，必须给出数据文件夹的路径

alter table mytable recover partitions'

refresh mytable;

以上两个命令将根据表的模式自动检测分区，并了解子目录中存在的拼花文件。

现在，您可以开始查询数据了。

希望有帮助