Spark 2.1-实例化HiveSessionState时出错

Question

对于Spark 2.1的新安装，我在执行pyspark命令时出错。

Traceback (most recent call last):
File "/usr/local/spark/python/pyspark/shell.py", line 43, in <module>
spark = SparkSession.builder\
File "/usr/local/spark/python/pyspark/sql/session.py", line 179, in getOrCreate
session._jsparkSession.sessionState().conf().setConfString(key, value)
File "/usr/local/spark/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py", line 1133, in __call__
File "/usr/local/spark/python/pyspark/sql/utils.py", line 79, in deco
raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':"

我在同一台机器上有Hadoop和Hive。Hive配置为使用MySQL进行元存储。我在Spark 2.0.2中没有得到这个错误。

有人能给我指出正确的方向吗？

Answer 1

Spark 2.1.0-当我使用Thread客户端选项运行它时-我没有看到这个问题，但Thread cluster模式给出了“实例化‘org.apache.Spark.sql.hive.HiveSessionState’时出错”：。

仍在寻找答案。

Answer 2

我也有同样的问题。一些答案，或者用hadoop将spark降级到2.6，对我来说都不管用。我意识到，造成这个问题的原因是我使用sqlContext而不是sparkSession进行SQL查询。

sparkSession =SparkSession.builder.master("local[*]").appName("appName").config("spark.sql.warehouse.dir", "./spark-warehouse").getOrCreate()
sqlCtx.registerDataFrameAsTable(..)
df = sparkSession.sql("SELECT ...")

现在这对我来说非常有效。

Answer 3

我在windows环境中也遇到了同样的错误，下面的技巧对我有效。

在外壳中。py火花会话由定义。enableHiveSupport（）

 spark = SparkSession.builder\
            .enableHiveSupport()\
            .getOrCreate()

删除配置单元支持并重新定义spark会话，如下所示：

spark = SparkSession.builder\
        .getOrCreate()

您可以找到shell。py，位于spark安装文件夹中。对我来说，它在C:\spark-2.1.1-bin-hadoop2.7\python\pyspark中

希望这有帮助