当前位置: 首页 > 知识库问答 >
问题:

使用kafka和HBase引发的冲突

郭胤
2023-03-14

当我使用“Spark Streaming”读取“Kafka”(需要sasl验证),然后将数据存储到“HBase”时,“HBase”给出以下错误

java.io.IOException:java.lang.Reflect.InvocationTargetException在org.apache.hadoop.hbase.client.ConnectionFactor.CreateConnection(ConnectionFactor.java:240)在org.apache.hadoop.hbase.client.ConnectionFactor.CreateConnection(ConnectionFactor.java:218)在org.apache.hadoop.hbase.client.ConnectionFactor.CreateConnection(ConnectionFactor.java:181)在6)在org.apache.spark.sparkcontext$$anonfun$runjob$5.apply(sparkcontext.scala:1956)在org.apache.spark.scheduler.resulttask.runtask(resultask.scala:87)在org.apache.spark.scheduler.task.run(task.scala:99)在org.apache.spark.executor.executor$taskrunner.run(executor.scala:325)在作者:java.lang.ExceptioninInitializerError(位于org.apache.hadoop.hbase.clusterid.ParseFrom(clusterid.java:64)(位于org.apache.hadoop.hbase.zookeeper.zkclusterid.readclusteridznode(位于zkclusterid.java:75)(位于org.apache.hadoop.hbase.client.zookeeperregistry.getclusterid(zookeeperregistry.105)(位于menodeproxies.java:418)在org.apache.hadoop.hdfs.namenodeproxes.createNonaProxy(namenodeproxes.java:314)在org.apache.hadoop.hdfs.server.namenode.ha.configuredFailoverProxyProvider$defaultProxyFactor.createProxy(configuredFailoverProvider.java:68)在access$200(filesystem.java:98)在org.apache.hadoop.fs.filesystem$cache.getinternal(filesystem.java:2853)在org.apache.hadoop.fs.filesystem.get(filesystem.java:2835)在org.apache.hadoop.fs.filesystem.get(filesystem.java:387)在org.apache.hadoop.fs.filesystem.get(filesystem.java:186)在org.apache.hadoop.fs.filesystem.get

但是当我读到另一个“Kafka”(没有经过sasl验证)时,“HBase”没有问题,另外“kerberos”认证需要“HBase”我认为Kafka的sasl认证和HBase的kerberos认证之间存在冲突,有没有人可以给我一些建议?

共有1个答案

江承嗣
2023-03-14

我似乎找到了答案:https://issues.apache.org/jira/browse/kafka-5294

然后我手动指定依赖项(我以前使用的版本是0.10.2.1)

<dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.11</artifactId>
        <version>0.11.0.0</version>
        <scope>compile</scope>
</dependency>

它起作用了

 类似资料:
  • 现在的问题是,当我访问静态资源时,例如: 它会映射那个控制器,但我不想这样,我如何解决冲突?

  • 我在使用Apache HBase构建时遇到以下错误。我正在运行下面的邮件 项目ID:null:akuma:jar:1.9 原因:找不到项目的父级:org.kohsuke:pom:null:akuma:jar:1.9项目的父级:null:akuma:jar:1.9 [INFO]--------------------------------------------------------------

  • 我们正在使用普罗米修斯一段时间,真的很享受它。 关于什么是jmx导出器的几句话 jmx-exporter是一个程序,它从基于JVM的应用程序(例如Java和Scala)读取JMX数据,并通过HTTP以Prometheus理解并可以抓取的简单文本格式公开它。 所以让我们开始讨论我的问题… 我们使用jmx导出器配置了kafka,如下所示 该配置在kakfa配置下的ambari中设置 设置配置后,我们重

  • 本文向大家介绍python hbase读取数据发送kafka的方法,包括了python hbase读取数据发送kafka的方法的使用技巧和注意事项,需要的朋友参考一下 本例子实现从hbase获取数据,并发送kafka。 使用 以上这篇python hbase读取数据发送kafka的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持呐喊教程。

  • 本章包含有关构建和发布 HBase 代码和文档的信息和指南。熟悉这些指南将有助于 HBase 提交者更轻松地使用您的贡献。 164.参与进来 只有当人们贡献时,Apache HBase 才会变得更好!如果您希望为 Apache HBase 做出贡献,请在 JIRA 中查找标有'beginner'%20AND%20status%20in%20 标签的[问题(开放%2C%20%22In%20Progr

  • 我正在尝试使用 Kafka 流对 CDC 数据执行 KTable-KTable 外键连接。我将读取的数据是 Avro 格式,但它的序列化方式与其他行业序列化程序/反序列化程序(例如 Confluent 模式注册表)不兼容,因为模式标识符存储在标头中。 当我设置KTables的Serdes时,我的Kafka Streams应用程序最初运行,但最终失败,因为它在内部使用,而不是包装序列化程序Value