Oozie Spark使用kerberos访问配置单元
当我在oozie中执行spark进程时，我有以下错误。找不到数据库。
2018-09-26 15:27:23,576 INFO [main] org.apache.spark.deploy.yarn.Client:
client token: Token { kind: YARN_CLIENT_TOKEN, service: }
diagnostics: User class threw exception: org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'zdm_datos_externos' not found;
ApplicationMaster host: 10.74.234.6
ApplicationMaster RPC port: 0
queue: default
queue user: administrador
start time: 1537986410475
final status: FAILED
tracking URL: https://BR-PC-CentOS-02:26001/proxy/application_1537467570666_4127/
user: administrador
这是我的火花配置
String warehouseLocation = new File("spark-warehouse").getAbsolutePath();
SparkSession spark = SparkSession
.builder()
.appName("Java Spark Hive Example")
.master("yarn")
.config("spark.sql.warehouse.dir", warehouseLocation)
.config("spark.driver.maxResultSize", "3g")
.config("spark.debug.maxToStringFields", "10000")
.config("spark.sql.crossJoin.enabled", "true")
.enableHiveSupport()
.getOrCreate();
spark.conf().set("spark.driver.maxResultSize", "3g");
共有1个答案
您使用的是什么版本的Spark？您是否在sparkSession上启用了配置单元支持？
sparkBuilder.enableHiveSupport().appName(appName).getOrCreate()
-
我设置了一个AWS EMR集群，其中包括Spark 2.3.2、hive 2.3.3和hbase 1.4.7。如何配置Spark以访问hive表？ 我采取了以下步骤，但结果是错误消息： Java语言lang.ClassNotFoundException：java。lang.NoClassDefFoundError:org/apache/tez/dag/api/SessionNotRunning使用
-
我正在尝试使用Kerberos在Tomcat9（使用SDK8)中配置SSO。我的环境都在Windows Server 2016 VMS中：- null null 在tomcat服务器中，我创建了文件。/tomcat-9/conf/krb5.ini 我创建了文件。/tomcat-9/conf/jass.conf 到目前为止，在我找到的所有教程中，它都是相当一致的。从现在开始，far west和我对t
-
我正在尝试连接到配置为使用Kerberos进行身份验证的蜂巢元存储。当我不尝试使用keytab文件时，即当程序在身份验证过程中提示我输入密码时，这对我很有效。当我将配置更改为使用keytab时，我会收到一个长堆栈跟踪，其中包含以下语句： 有人能对我做错了什么提出建议吗？ 如果相关的话，我的问题的背景是，我想从mapreduce作业访问配置单元元存储，当然，mapreduced作业无法响应提示。 我
-
我们有配置了FreeIPA的HDP-2.2集群。但当我们试图通过knox访问HiveJDBC时，我们面临着一个问题。以下是我们正在使用的JDBC URI： jdbc： hive2：//xxxxxxxxx： 8443/； ssl=true； sslTrustStore=/var/lib/Knox/data/Security/keystore/gateway.jks； Trust StorePassw
-
我正在尝试为基于spring的tomcat应用程序配置logback访问。在我的pom中添加了以下行。xml文件： 我还在pom文件的tomcat插件配置中添加了这个。 我已将资源文件放在以下位置：src/主/资源/日志回溯.xml src/主/资源/日志回溯访问.xml 但是，虽然日志.xml工作，但tomcat无法获取日志回溯访问.xml文件。如何使用我的tomcat6插件附加访问xml文件？
-
keytab和principl似乎都是正确的。我可以成功运行命令 有谁能进一步帮我。我被这个问题困扰了将近一个星期。如果需要，我可以提供更多的信息。