集群中的Kafka机器与Kafka通信
我们有kafka集群，包含3个kafka代理节点和3个zookeepers服务器
Kafka版本- 10.1 ( hortonworks)
根据我的理解，因为所有的元数据都位于zookeeper服务器上，kafka代理正在使用这些数据(kafka通过端口2181与zookeeper服务器对话)
我只是想知道是否每台kafka机器都与集群中的其他kafka交谈，或者kafka可能只在动物园管理员服务器上获取/放置数据？
那么剂量 kafka 服务需要与集群中的其他 kafka 通信吗？，或者也许Kafka机器只需要从动物园管理员服务器获得所需的一切？
共有1个答案
Kafka代理当然需要相互通信，最重要的是复制数据。生成给Kafka的数据在代理之间复制，以实现容错性和数据持久性。分区追随者向分区领导者发送Fetch请求，以便复制数据。
此外，每当分区领导者/追随者发生变化时，Controller代理都会向代理发送LeaderAndIsr请求-这就是它通知代理开始引导分区或复制分区的方式。
我推荐我的这两篇介绍性文章，以帮助您了解更多背景知识:
https://hacker noon . com/through-introduction-to-Apache-Kafka-6 fbf 2989 BBC 1
https://hacker noon . com/Apache-kafkas-distributed-system-firefler-the-controller-broker-1 afca 1 EAE 302
-
根据最近的一篇文章，Kafka可以在复制配置下删除已确认的消息： https://aphyr.com/posts/293-call-me-maybe-kafka 如果必须绝对确定消息已发送给消费者，此解决方案是否在所有情况下都有效： 建立两个主题，一个用于发送，一个用于接收 即使在丢弃消息的情况下也能工作吗？这个图案有名字吗？
-
我已经在集群中配置了3个kafka，我正在尝试与sping-kafka一起使用。 但是在我杀死kafka领导者后，我无法发送其他消息到队列。 我将Spring.kafka.bootstrap-servers属性设置为：“kafka-1：9092;kafka-2：9093，kafka-3：9094”以及我的主机文件中的所有名称。 Kafka0.10版 有人知道如何正确配置？ 编辑 我测试过一个东西，
-
我已经为两个Kafka集群（名为DC、DR）设置了带有主动-主动策略的Apache MirrorMaker 3.0.0。因此，MirrorMaker2将有关DC的主题复制为DC。 在每个集群中，我设置了3个kafka代理节点。 假设使用了以下 IP 配置 连接制造商属性 我只想了解是否只有9092端口足以进行集群间通信(记录、偏移和其他元数据转换),或者我们是否还需要在一些端口上开放连接？
-
我考虑在同一集群内使用Kafka Connect复制器来丰富事件。 这个想法是让SMT来丰富事件，之后需要将事件发送到Mongo DB 我的问题是：这是一个“有意义”的设计，还是我在这里遗漏了什么？ 谢谢。
-
我想建立一个多kafka集群，大约有3个zookeeper实例，每个集群中有3个kafka代理，每个kafka经纪人大约有5个主题和5个分区。有什么设置指南可以参考吗？ PS:我可以找到带有多个Kafka代理的单个zookeeper实例的信息，但不能找到带有多个zookeeper实例的设置。
-
我目前使用的是Kafka connect集群，它有两个节点，使用的是同一个 当使用curl/connectors时，我可以获得创建的连接器列表，但我看不到有关活动节点的信息，健康检查。。。