无法连接到内核化集群中的带有火花JDBC的Hive服务器

Question

我尝试从一个配置单元（配置单元n°1）读取数据，并将结果写入另一个配置单元（配置单元n°2）（它们来自两个不同的集群）。我不能使用单个spark会话连接到两个配置单元，因此我将使用jdbc读取数据，并使用spark配置单元上下文写入数据。

两个集群都使用kerberos，Knox，ranger。

THS批火花将在蜂巢n°2上运行

这是我的主要错误：

GSSException:未提供有效凭据（机制级别：找不到任何Kerberos tgt）

我已经尝试过的：

• 我可以使用直线命令连接到蜂巢服务器，使用动物园管理员发现模式，也可以使用直接超文本传输协议。

beeline -u "jdbc:hive2://<hiveServer2Host>:<Port>/<db>;transportMode=http;httpPath=cliservice;ssl=true;sslTrustStore=truststore.jks;trustStorePassword=<psw>;principal=<hive server 2 principal>;"

我的代码：

String url = "jdbc:hive2://<hiveServer2Host>:<Port>/<db>;transportMode=http;httpPath=cliservice;ssl=true;sslTrustStore=truststore.jks;trustStorePassword=<psw>;principal=<hive server 2 principal>";
String table = "test";
Properties connectionProperties = new Properties();
Dataset<Row> testDS= spark.read().jdbc(url, table, connectionProperties);
testDS.show();

我尝试在JDBC之前添加一些手动keberos连接：

org.apache.hadoop.conf.Configuration conf = new org.apache.hadoop.conf.Configuration();
conf.set("fs.hdfs.impl", DistributedFileSystem.class.getName());
conf.set("hadoop.security.authentication", "kerberos");
conf.set("hadoop.rpc.protection", "privacy");
UserGroupInformation.setConfiguration(conf);
UserGroupInformation.loginUserFromKeytab(args[0], args[1]);
System.out.println("login with: " + UserGroupInformation.getLoginUser());
System.out.println("Current User:" + UserGroupInformation.getCurrentUser());

我很确定（在火花日志）：

登录：[e-mail]（授权：KERBEROS）

当前用户：A（认证：SIMPLE）

在spark提交之前，我还做了一个kinit：

kinit -kt <A_keytabs> <A principal> 

克莱斯特很好

我试图在spark submit中添加--keytab和--principal，但这并没有改变什么。

只有与JDBC的连接出现问题，否则我会访问HDFS资源，Kafka主题。。。

我还尝试在java模式下通过zookeeper发现连接到JDBC，但这不起作用。

java.sql.SQLExc0019：无法打开ZooKeeper中任何服务器URI的客户端传输：无法从ZooKeeper读取HiveServer2配置

我使用HDP 2.6.4，Java8，火花2.2.1

更新：Samson回复后：

我添加jass和KBR属性到系统：

System.setProperty("java.security.auth.login.config", spark_jaas.conf);
System.setProperty("sun.security.jgss.debug", "true");
System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");
System.setProperty("java.security.krb5.realm", <realm from krb5.conf>);
System.setProperty("java.security.krb5.kdc", <kdc from krb5.conf>);

我的应用程序没有崩溃，但我得到了这个错误。

GSSException:未提供有效凭据（机制级别：尝试获取新的启动凭据失败！（null））

搜索主题KerberosV5 INIT Cred（

Answer 1

试着用这个。我假设你在spark submit中通过了principal和keytab

val principal: String = sparkSession.sparkContext.getConf.get("spark.yarn.principal")
val keytab: String = sparkSession.sparkContext.getConf.get("spark.yarn.keytab")
UserGroupInformation.loginUserFromKeytab(principal, keytab);

让我知道它是否有效。