如何通过身份验证从spark连接远程配置单元

Question

直线>！连接JDBC:hive2://bigdatamr:10000/default连接到JDBC:hive2://bigdatamr:10000/default输入JDBC:hive2://bigdatamr:10000/default：myusername输入JDBC:hive2://bigdatamr:10000/default：myusername输入密码/bigdatamr:10000/default：********连接到：Apache配置单元（版本1.2.0-mapr-1703)驱动程序：Hive JDBC（版本1.2.0-mapr-1703)事务隔离：TRANSACTION_REPEATABLE_READ

我如何将它转换成使用Spark？我尝试了thrift和jdbc但都不起作用

我的小尝试，不知道如何通过认证

from pyspark.sql import SparkSession
spark = SparkSession\
    .builder.master("yarn")\
    .appName("my app")\
    .config("hive.metastore.uris", "thrift://bigdatamr:10000")\
    .enableHiveSupport()\
    .getOrCreate()

我的jdbc try,throw方法不支持

jdbcDF = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:hive2://bigdatamr:10000") \
    .option("dbtable", "default.tmp") \
    .option("user", "myusername") \
    .option("password", "xxxxxxx") \
    .load()

Py4JJavaError: An error occurred while calling o183.load.

：java.sql.sqlexception：不支持方法

Answer 1

您需要在spark.read的选项中指定正在使用的驱动程序：

.option("driver", "org.apache.hive.jdbc.HiveDriver")

此外，由于某些原因，您必须在jdbc url中指定数据库，并使用选项dbtable指定表的名称。由于某些原因，简单地将dbtable定义为database.table是行不通的。

它看起来应该是这样的：

jdbcDF = spark.read \
    .format("jdbc") \
    .option("driver", "org.apache.hive.jdbc.HiveDriver") \
    .option("url", "jdbc:hive2://bigdatamr:10000/default")
    .option("dbtable", "tmp") \
    .option("user", "myusername") \
    .option("password", "xxxxxxx") \
    .load()