Kafka的引导。servers config one应该提供所有代理的详细信息。
如果没有,Kafka制作人/消费者将如何解决所有可用的经纪人?
如果是,生产者/消费者是否需要在添加节点后重新启动?
bootstrap.servers配置对于生产者和消费者是强制性的,它必须至少有一个代理主机:端口,以便允许生产者/消费者连接到群集,然后获取所有其他元数据(主题在哪里,谁是领导者等等)。
如果添加节点,则无需重新启动生产者/消费者,但当前配置当然会过时。我是说。。。如果您有一个包含broker1和broker2的集群,并将它们放入引导程序。服务器配置,然后生产者/消费者连接到集群。假设您添加了broker3,并在其中部署了一些新的主题/分区。您的制作者/消费者将能够写入/读取这些新主题/分区,因为可以通过向broker1或broker2请求元数据来获取这些主题/分区的相关信息(以便它们位于broker3上)。
当然,如果你关闭经纪1和经纪2,你的集群将只是由经纪3组成,你将不得不重新启动生产者/消费者与bootstrap.servers配置只有经纪3。
引导程序。服务器配置(顾名思义)只是启动时使用的配置;然后,每个客户机将能够直接连接到代理(用于读取/写入那里的主题/分区),即使这样的代理不在引导程序中。服务器配置。
我们正在运行活动 MQ 5.6.0。在我们的测试环境中,我们有 3 个代理在静态网络中运行。下面是当前方案。我们有6个消费者随机连接到3个经纪人。一个经纪人有3个消费者,第二个有2个,第三个有1个。当我们向队列堆积消息时,我们看到消息积压在第三个代理上,有 1 个使用者,另外两个代理没有获得任何积压,其余 5 个使用者处于空闲状态。 在下面,您将找到我们所有一个代理(dev.queue01)的配置
我正在尝试仅为代理间kerberos配置Kafka代理。然而,由于它似乎也想通过Kerberos连接到Zookeeper,所以我似乎总是遇到错误。我目前还没有设置任何Zookeeper键。 我的Kafka代理 JAAS 配置如下: 服务器属性 我用上述配置得到的错误如下: 换句话说,我只想要经纪人到经纪人的 kerberos 和经纪人 - 动物园管理员的普通SASL_SSL。这可能吗?
感谢你在这个问题上的帮助。 我使用的是Kafka 0.8.2 这是我写的制作人代码。
我知道生产者/消费者需要与经纪人交谈以了解分区的领导者。经纪人与zk交谈以告诉他们加入了集群。 是真的吗 经纪人从zk知道谁是给定分区的负责人 zk发现经纪人离开/死亡。然后重新选举领导人,并向所有经纪人发送新的领导人信息 问题: 为什么我们需要经纪人相互沟通?这只是为了让tehy可以移动分区,或者他们也可以互相查询元数据。如果是这样,元数据交换的例子是什么
我有两个< code>kafka 0.10.1的代理集群,之前在我的开发服务器上正确运行< code>zookeeper 3.3.6。 我最近尝试将broker版本升级到最新的,但没有开始。配置没有太大变化 谁能告诉我可能会出什么问题吗。为什么经纪人没有起步? 已更改服务器。代理服务器1上的属性 已更改代理服务器2上的server.properties 注意: 1.Zookeeper正在两台服务器
我们正在使用带有 5 个代理的 Apache Kafka 2.2 版本。我们每天收到 50 数百万个事件,但我们达到了高 kafka CPU 使用率。我们使用默认的生产者/消费者/代理设置。 我对表演有一些疑问; 我们有不同的kafka流应用程序,它们进行聚合或连接操作以携带丰富的消息。我们所有的kafka-流应用程序都包含以下设置: < li >恰好一次:true < li >最小同步副本:3