Impala：如何查询具有不同模式的多个拼花文件

Question

在Spark 2.1中，我经常使用类似的东西

df = spark.read.parquet(/path/to/my/files/*.parquet) 

加载拼花文件文件夹，即使使用不同的模式。然后，我使用SparkSQL对数据帧执行一些SQL查询。

现在我想试试黑斑羚，因为我读了这篇维基文章，其中包含如下句子：

Apache Impala是一个开源的大规模并行处理（MPP）SQL查询引擎，用于存储在运行Apache Hadoop[…]的计算机集群中的数据。

读取Hadoop文件格式，包括text、LZO、SequenceFile、Avro、RCFile和Parquet。

所以听起来它也可以适合我的用例（并且执行速度可能更快）。

但当我尝试以下事情时：

CREATE EXTERNAL TABLE ingest_parquet_files LIKE PARQUET 
'/path/to/my/files/*.parquet'
STORED AS PARQUET
LOCATION '/tmp';

我得到一个AnalysisException

AnalysisException：无法推断架构，路径不是文件

所以现在我的问题是：是否有可能使用Impala读取包含多个拼花文件的文件夹？Impala会像火花一样执行模式合并吗？执行此操作需要什么查询？使用Google找不到有关它的任何信息。（总是一个坏迹象...）

谢谢

Answer 1

据我所知，你有一些拼花文件，你想通过黑斑羚桌子看到它们？下面是我对此的解释。

您可以创建一个外部表，并将位置设置为parquet files目录，如下所示

CREATE EXTERNAL TABLE ingest_parquet_files(col1 string, col2 string) LOCATION "/path/to/my/files/" STORED AS PARQUET;

在创建表之后，您还有另一个加载拼花地板文件的选项

LOAD DATA INPATH "Your/HDFS/PATH" INTO TABLE schema.ingest_parquet_files;

您正在尝试的操作也会起作用，您必须删除通配符，因为它需要在LIKE拼花后面有一个路径，并在该位置查找文件。

CREATE EXTERNAL TABLE ingest_parquet_files LIKE PARQUET 
'/path/to/my/files/'
STORED AS PARQUET
LOCATION '/tmp';

以下是您可以参考的模板，该模板来自Cloudera impala文档。

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
  LIKE PARQUET 'hdfs_path_of_parquet_file'
  [COMMENT 'table_comment']
  [PARTITIONED BY (col_name data_type [COMMENT 'col_comment'], ...)]
  [WITH SERDEPROPERTIES ('key1'='value1', 'key2'='value2', ...)]
  [
   [ROW FORMAT row_format] [STORED AS file_format]
  ]
  [LOCATION 'hdfs_path']
  [TBLPROPERTIES ('key1'='value1', 'key2'='value2', ...)]
  [CACHED IN 'pool_name' [WITH REPLICATION = integer] | UNCACHED]
data_type:
    primitive_type
  | array_type
  | map_type
  | struct_type

请注意，您使用的用户应该对您提供给impala的任何路径具有读写权限。您可以通过执行以下步骤来实现

#Login as hive superuser to perform the below steps
create role <role_name_x>;

#For granting to database
grant all on database to role <role_name_x>;

#For granting to HDFS path
grant all on URI '/hdfs/path' to role <role_name_x>;

#Granting the role to the user you will use to run the impala job
grant role <role_name_x> to group <your_user_name>;

#After you perform the below steps you can validate with the below commands
#grant role should show the URI or database access when you run the grant role check on the role name as below

show grant role <role_name_x>;

#Now to validate if the user has access to the role

show role grant group <your_user_name>;

更多关于角色和权限如何在这里