对于类似的查询，pyspark-hive上下文不返回结果，但SQL上下文返回结果

Question

• Spark 1.3.1（也尝试了Spark 1.5.1)
• Hadoop 2.6（在CDH 5.4.0上）
• Pyspark--主纱--num--执行者5--执行者-内存10g--驱动程序-内存4g--驱动程序-核心4

• database.table有超过2k个分区
• database.table在field1上分区（在where子句中使用）

from pyspark.sql import SQLContext
sqlContext = HiveContext(sc) 
qry = "select count(*) from database.table a where a.field1 = 'ABCD'"
results = sqlContext.sql(qry).collect()

• 占用的时间不确定--我不得不停止查询的执行，因为它很快占用了我执行查询的edgenode上50%以上的系统资源。

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.parquetFile('hdfs_path_to_hive_table/field1=ABCD/')
df.select("field2").show()

null

null

我试过：

SET spark.sql.hive.metastorePartitionPruning=true

我还在遇到同样的问题。我让进程运行了一小段时间，以测试CPU使用率会上升到多高，它达到了2000%以上！

我听说Parket格式化文件在版本1.5之前可能是spark的一个问题，所以我在Spark1.5.1中使用这些附加设置的所有测试：

parquet.task.side.metadata=false
SET spark.sql.parquet.filterPushdown=true
SET spark.sql.parquet.cacheMetadata=false

null

null

null

Answer 1

这可能不是HiveContext/SQLContext之间的差异，而是元数据来自HiveMetastore的表与SparkSQL数据源API之间的差异。我猜想，如果以同样的方式创建表，性能也会类似。

在data source API中，我们已经花了大量时间优化了许多分区的发现和处理，总的来说，我认为这个路径更容易使用/更快。

配置单元表的问题可能是从metastore下载所有分区元数据并将其转换为我们的内部格式。我们对所有分区都这样做，即使在本例中您只需要前20行。