如何在没有下载配置单元的情况下连接到远程配置单元服务器？

Question

我正在尝试访问一个没有在我的计算机上下载配置单元的配置单元群集。我在这里读到，我只需要一个jdbc客户机就可以这样做。我有配置单元群集的url、用户名和密码。我尝试用这些创建hive-site.xml，并以编程方式进行，尽管这种方法似乎没有输入用户名和密码的地方。无论我做什么，似乎下面的错误使我无法访问配置单元：无法实例化org.apache.hadoop.hive.ql.metadata.sessionHiveMetaStoreClient

我觉得这是因为我没有在我的计算机上下载配置单元从这个错误的答案在线。在这里我到底需要做什么才能在没有下载配置单元的情况下访问它，还是我实际上必须下载它？下面是我的代码供参考：

spark = SparkSession \
.builder \
.appName("interfacing spark sql to hive metastore without 
configuration file") \
.config("hive.metastore.uris", "https://prod-fmhdinsight- 
eu.azurehdinsight.net") \
.enableHiveSupport() \
.getOrCreate()

data = [('First', 1), ('Second', 2), ('Third', 3), ('Fourth', 4), 
('Fifth', 5)]
df = spark.createDataFrame(data)
# see the frame created
df.show()
# write the frame
df.write.mode("overwrite").saveAsTable("t4")

和hive-site.xml：

<configuration>

<property> 
    <name>hive.metastore.uris</name> 

    <value>https://prod-fmhdinsight-eu.azurehdinsight.net</value>
</property>
<!--
<property>
    <name>hive.metastore.local</name>
    <value>true</value>
</property>
<-->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>https://prod-fmhdinsight-eu.azurehdinsight.net</value>
    <description>metadata is stored in a MySQL server</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>MySQL JDBC driver class</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>username</value>
    <description>user name for connecting to mysql server 
</description>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password</value>
    <description>password for connecting to mysql server 
</description>
</property>

Answer 1

TL；DR将Spark.SQL.hive.maftore.jars配置属性与maven一起使用，让Spark SQL下载所需的JAR。

其他选项是builtin（它只是假设配置单元1.2.1)和配置单元JAR的类路径（例如spark.sql.Hive.m转移.JARs=“/users/jacek/dev/apps/Hive/lib/*”)。

如果您的配置单元转移可以通过Trift协议远程使用，您可能希望创建$spark_home/conf/hive-site.xml，如下所示：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://localhost:9083</value>
  </property>
</configuration>

Hive的一个很好的特性是将配置属性定义为系统属性,因此上面的内容如下所示：

$SPARK_HOME/bin/spark-shell \
  --driver-java-options="-Dhive.metastore.uris=thrift://localhost:9083"

您可能希望将以下内容添加到conf/log4j.properties中以获得更低级别的日志记录：

log4j.logger.org.apache.spark.sql.hive.HiveUtils$=ALL
log4j.logger.org.apache.spark.sql.internal.SharedState=ALL