问题：

使用带有kerberos的hive metastore服务器进行oozie hive操作

柳俊健

2023-03-14

<property>
  <name>hive.metastore.sasl.enabled</name>
  <value>true</value>
</property>

<property>
  <name>hive.metastore.kerberos.keytab.file</name>
  <value>/etc/hive/conf/hive.keytab</value>
</property>

<property>
  <name>hive.metastore.kerberos.principal</name>
  <value>hive/hive-metastore.example.com@example.COM</value>
</property>

<property>
  <name>oozie.credentials.credentialclasses</name>
  <value>hcat=org.apache.oozie.action.hadoop.HCatCredentials</value>
</property>

<credentials>
    <credential name='hive_credentials' type='hcat'>
          <property>
              <name>hcat.metastore.uri</name>
              <value>thrift://hive-metastore.example.com:9083</value>
          </property>
          <property>
              <name>hcat.metastore.principal</name>
              <value>hive/hadoop-metastore.example.com@example.COM</value>
          </property>
     </credential>
</credentials>

<action name="hive" cred="hive_credentials">
    <hive xmlns="uri:oozie:hive-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <job-xml>${appPath}/hive-site.xml</job-xml>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <script>${appPath}/queries.hql</script>
    </hive>
    <ok to="pass"/>
    <error to="fail"/>
</action>

Exception in addtoJobConf
MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: No common protection layer between client and server
        at org.apache.thrift.transport.TSaslTransport.sendAndThrowMessage(TSaslTransport.java:221)
        at org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:297)
        at org.apache.thrift.transport.TSaslClientTransport.open(TSaslClientTransport.java:37)
        at org.apache.hadoop.hive.thrift.client.TUGIAssumingTransport$1.run(TUGIAssumingTransport.java:52)
        at org.apache.hadoop.hive.thrift.client.TUGIAssumingTransport$1.run(TUGIAssumingTransport.java:49)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
        at org.apache.hadoop.hive.thrift.client.TUGIAssumingTransport.open(TUGIAssumingTransport.java:49)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:288)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:169)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:109)
        at org.apache.oozie.action.hadoop.HCatCredentialHelper.getHCatClient(HCatCredentialHelper.java:87)
        at org.apache.oozie.action.hadoop.HCatCredentialHelper.set(HCatCredentialHelper.java:52)
        at org.apache.oozie.action.hadoop.HCatCredentials.addtoJobConf(HCatCredentials.java:58)
        at org.apache.oozie.action.hadoop.JavaActionExecutor.setCredentialTokens(JavaActionExecutor.java:990)
        at org.apache.oozie.action.hadoop.JavaActionExecutor.submitLauncher(JavaActionExecutor.java:851)
        at org.apache.oozie.action.hadoop.JavaActionExecutor.start(JavaActionExecutor.java:1071)
        at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:217)
        at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:62)
        at org.apache.oozie.command.XCommand.call(XCommand.java:280)
        at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:323)
        at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:252)
        at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:174)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:895)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:918)
        at java.lang.Thread.run(Thread.java:662)
)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:334)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:169)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:109)
        at org.apache.oozie.action.hadoop.HCatCredentialHelper.getHCatClient(HCatCredentialHelper.java:87)
        at org.apache.oozie.action.hadoop.HCatCredentialHelper.set(HCatCredentialHelper.java:52)
        at org.apache.oozie.action.hadoop.HCatCredentials.addtoJobConf(HCatCredentials.java:58)
        at org.apache.oozie.action.hadoop.JavaActionExecutor.setCredentialTokens(JavaActionExecutor.java:990)
        at org.apache.oozie.action.hadoop.JavaActionExecutor.submitLauncher(JavaActionExecutor.java:851)
        at org.apache.oozie.action.hadoop.JavaActionExecutor.start(JavaActionExecutor.java:1071)
        at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:217)
        at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:62)
        at org.apache.oozie.command.XCommand.call(XCommand.java:280)
        at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:323)
        at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:252)
        at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:174)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:895)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:918)
        at java.lang.Thread.run(Thread.java:662)

共有1个答案

鞠凌龙

2023-03-14

我有一个工作流程，它使用：

hive/_HOST@example.COM

作为hcat.mastore.principal，而不是：

hive/hadoop-metastore.example.com@example.COM

你能试一下吗？

类似资料：

使用带有PHP的Web服务进行Android远程MySQL操作

问题内容：我读了一些不错的文章，介绍如何通过Android连接到远程MySQL数据库。在这里和这里找到了一些非常有趣的链接。因此，获取数据的常用方法似乎是使用某种Web服务（接口，在本例中为php脚本），该服务将查询数据库并以JSON（或XML）格式呈现结果。然后可以使用android JSON_Object实现解析此输出。到目前为止，一切都很好。从数据库接收数据并将其显示在android
带有Kerberos的Hdfs无法从远程服务器访问

我使用kerberos身份验证配置了HDFS，我可以使用自己的keytab文件访问HDFS集群中任何机器上的HDFS。但是当我使用相同的keytab访问HDFS集群外的远程服务器上的HDFS时，我无法访问。我收到以下错误消息，顺便说一下，我已经将服务器的配置文件krb5.conf复制到hadoop集群外的远程机器。
如何使用 UDP 对远程服务器进行 ping 操作

因此，我正在尝试让框架设置来制作一个discord bot，它将检查用户专用服务器是否打开并相应地更新消息。我目前在本地网络中的一台独立计算机上运行Minecraft和Valheim服务器。我试图使用微软的Ping类，但它不能Ping Valheim服务器。似乎Valheim正在使用UDP协议，所以我尝试使用UdpClient类来发送消息，但是它仍然处于“WaitingForActivation
使用python进行服务器的监控

本文向大家介绍使用python进行服务器的监控，包括了使用python进行服务器的监控的使用技巧和注意事项，需要的朋友参考一下在linux服务器中，一切皆为文件，就是说，服务器运行的个中信息，其实是可以从某些文件中查询得到的；百度后，你会知道，在Linux系统中，有一个/proc的虚拟文件系统： Linux 系统为管理员提供了非常好的方法，使其可以在系统运行时更改内核，而不需要重新引导内核系统，
Kerberos 5应用程序服务器

我已经安装了 krb5-应用程序-服务器和 krb5-工作站;在 KDC 服务器中的 /etc/krb5.conf 中配置 krb5.conf 我在 KDC 中创建了一个用户根/管理员但是当我在应用程序服务器上时，键入：他们说： “在初始化 kadmin 接口时，kadmin 客户端缺少 krb5.conf 中缺少的参数” krb5.conf 中缺少什么???在 krb5.conf 中应用：
使用JavaScript进行服务器轮询

问题内容：对于需要快速刷新数据的应用程序，使用JavaScript轮询服务器的最佳实践是什么？我将jQuery用于前端，将Java Spring Framework用于后端。刷新数据的示例可以是很快（每1秒）更新一次的项目列表。问题答案：您可能想使用jQuery的Ajax函数每秒钟左右轮询一次服务器。然后，服务器可以近乎实时地向浏览器发出指令响应。您也可以考虑使用长轮询而不是上面的方法，

使用带有kerberos的hive metastore服务器进行oozie hive操作

共有1个答案

相关问答

相关文章

相关阅读

相关工具

相关文档