spark未下载hive_metastore jars

Question

我通过python API使用spark V2.4.4

null

   from pyspark.sql import SparkSession
   from pyspark import SparkConf
   conf = (
       SparkConf()
       .setAppName("myapp")
       .set("spark.sql.hive.metastore.version", "2.3.3")
       .set("spark.sql.hive.metastore.jars","maven")
   )
   spark = (
       SparkSession
       .builder
       .config(conf=conf)
       .enableHiveSupport()
       .getOrCreate()
   )

null

null

Answer 1

对于其他试图解决这个问题的人来说：

• 在创建spark上下文时不会从maven下载。它发生在运行配置单元命令时。例如spark.catalog.listdatabases()
• 您需要确保您尝试运行的hive版本得到您的Spark版本的支持。并非所有版本的配置单元都受支持，不同版本的spark支持不同版本的配置单元。