当前位置: 首页 > 知识库问答 >
问题:

使用Kafka进行没有Zookeeper的仓储

邹博明
2023-03-14

我想将数据从数据仓库摄取到kafka中,然后将avro记录存储到mySQL RDMS中。我想消除对动物园管理员的依赖。不使用动物园管理员可以做到这一点吗?

共有1个答案

虞修平
2023-03-14

它不被认为是生产就绪,但你正在寻找Kafka卡夫模式

bin/test-kraft服务器启动。sh脚本将在此模式下启动代理。。。

文档-https://github.com/apache/kafka/tree/trunk/raft

参考 - https://cwiki.apache.org/confluence/display/KAFKA/KIP-500:将 ZooKeeper 替换为自我管理的元数据仲裁

 类似资料:
  • 本文向大家介绍没有ZooKeeper可以使用Kafka吗?相关面试题,主要包含被问及没有ZooKeeper可以使用Kafka吗?时的应答技巧和注意事项,需要的朋友参考一下 答:绕过Zookeeper并直接连接到Kafka服务器是不可能的,所以答案是否定的。如果以某种方式,使ZooKeeper关闭,则无法为任何客户端请求提供服务。

  • 我正在尝试在zookeeper和kafka之间设置kerberos标识。 我遵循了此处提供的配置步骤:https://docs.confluent.io/4.1.1/kafka/authentication_sasl_gssapi.html#sasl-gssapi经纪人。 Kafka代理成功连接到zookeeper集合,代理正在zNode上设置ACL。 在Zookeeper中,我可以看到znode

  • 幸运的是,即使我们只有一台机器也能运行多个服务器。我们只需要建立一个更高级的配置文件。 为了让服务器之间相互联系,它们需要一些联系人的信息。理论上服务器可以通过多播协议来发现对方,但是我们支持除了单一网络外运行Zookeeper集合分散在多个网络中以支持多个Zookeeper集合。 图2-7 客户端重连接例子 initLimit=10 dataDir=./data server.2=127.0.0

  • 对集群设置有点困惑: > Zookeeper可以通过配置myid(1,2,3...)将其设置为群集例如,在zoo.cfg文件中具有zookeeper1:2888:3888、zookeeper2:2889:3889 对于Kafka,在server.properties文件中,是否必须为参数zookeeper.connect指定zookeeper服务器的完整列表,还是只要1就足够了?有什么不同吗?我见

  • 我有一个Java Spring Kafka应用程序,它将Book类型的对象发送到Kafka主题。然后我试着用Kafka流来映射每一条信息,把这本书的作者作为它的关键字。然后,我尝试将它们添加到一个KTable中,该表保存了密钥和拥有该密钥的消息的数量。然后,该表被发送到一个输出kafka主题。 书籍型号: 流结构: 运行应用后,输出显示每个唯一键,但随机表情,而不是计数。 在搞砸之后,我发现了一件

  • 我试图在Kafka流之上实现一个简单的CQRS/Event sourcing概念验证(如https://www.confluent.io/blog/event-sourcing-using-apache-kafka/所述) 我有4个基本部分: 命令处理器-命令流,左与聚合状态KTABLE连接。对于结果流中的每个条目,使用函数生成结果事件,并将它们发布到主题 问题是--有没有办法确保我在州存储中有聚