Apache Spark未使用配置单元分区外部表中的分区信息

Question

我有一个简单的配置单元-外部表，它是在S3的顶部创建的（文件是CSV格式的）。当我运行配置单元查询时，它会显示所有记录和分区。

但是，当我在Spark中使用相同的表时（Spark SQL在分区列上有where条件），它并没有显示应用了分区筛选器。然而，对于配置单元托管表，Spark能够使用分区信息并应用分区筛选器。

是否有任何标志或设置可以帮助我利用Spark中Hive外部表的分区？谢了。

Answer 1

TL；dr在运行外部表的sql之前设置了以下内容spark.sql（“set spark.sql.hive.convertmetastoreorc=true”）

行为差异不是由于Extenal/Managed表。
行为取决于两个因素
1。创建表的位置（配置单元或火花）
2。文件格式（我相信在这种情况下是ORC，从屏幕截图来看）

如果该表是使用Spark API创建的，则将其视为Datasource表。
如果该表是用HiveQL创建的，则将其视为配置单元本机表。
这两个表的元数据都存储在配置单元转移中，唯一的区别在于这些表的TBLProperties的provider字段(description extended )。属性的值在Spark表中为orc或empty，而在配置单元中为hive。

当provider不是Hive（数据源表）时，Spark使用其本地方式处理数据。
如果provider是Hive，Spark使用Hive代码处理数据。

Spark给出配置标志，指示引擎使用Datasource方式处理floowing文件格式=ORC和Parquet标志的数据：

  val CONVERT_METASTORE_ORC = buildConf("spark.sql.hive.convertMetastoreOrc")
    .doc("When set to true, the built-in ORC reader and writer are used to process " +
      "ORC tables created by using the HiveQL syntax, instead of Hive serde.")
    .booleanConf
    .createWithDefault(true)

val CONVERT_METASTORE_PARQUET = buildConf("spark.sql.hive.convertMetastoreParquet")
    .doc("When set to true, the built-in Parquet reader and writer are used to process " +
      "parquet tables created by using the HiveQL syntax, instead of Hive serde.")
    .booleanConf
    .createWithDefault(true)