Spark可以从pyspark访问Hive表，但不能从Spark提交访问

Question

因此，从pyspark运行时，我会输入（不指定任何上下文）：

df_openings_latest = sqlContext.sql('select * from experian_int_openings_latest_orc')

..而且效果很好。

但是，当我从运行脚本时spark-submit，例如

spark-submit script.py 我把以下内容

from pyspark.sql import SQLContext
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName('inc_dd_openings')
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)

df_openings_latest = sqlContext.sql('select * from experian_int_openings_latest_orc')

但这给我一个错误

pyspark.sql.utils.AnalysisException：u’未找到表：experian_int_openings_latest_orc;’

所以它没有看到我的桌子。

我究竟做错了什么？请帮忙

PS Spark版本在Amazon EMR上运行1.6

Answer 1

火花2.x

如果SparkSession在未启用Hive支持的情况下创建了Spark
2.x，则可能会出现相同的问题。

Spark 1.x

这很简单。当您使用PySpark
Shell并在Hive支持下构建了Spark时，默认SQLContext实现（可用sqlContext）为HiveContext。

在独立应用程序中，您使用SQLContext不提供Hive功能的Plain 。

假设其余配置正确，则只需替换：

from pyspark.sql import SQLContext

sqlContext = SQLContext(sc)

与

from pyspark.sql import HiveContext

sqlContext = HiveContext(sc)