关于Kafka集群设置的疑问

Question

我有一个用例，我想建立一个Kafka集群，最初我有1个Kafka Broker(A)和1个Zookeeper节点。以下是我的疑问:

>

在向集群添加新的Kafka Broker（B）时。代理A上存在的所有数据都会自动分发吗？如果不是，我需要做的是分发数据。

不，让我们假设情况以某种方式解决了！我的数据分布在两个代理上。现在由于一些维护问题，我想关闭服务器B。

• 如何将经纪商B的数据传输到已经存在的经纪商A或新的经纪商C。

如何在运行时增加代理的复制因子

如何在运行时更改Kafka代理配置中存在的动物园管理员 IP，而无需重新启动Kafka？

关于Kafka客户端:

< li >我是否需要将所有Kafka broker IP指定给kafkaClient进行连接？每次添加或删除代理时，我都需要在Kafka客户端连接字符串中添加或删除我的IP。因为它总是需要重新启动我的生产者和消费者？

注意：

Kafka Version: 2.0.0
Zookeeper: 3.4.9
Broker Size : (2 core, 8 GB RAM) [4GB for Kafka and 4 GB for OS]

Answer 1

以下是简短的答案：

> < li>

是的，代理A上的数据也将在Kafka代理B中分发

你可以设置三个经纪人A、B和C，如果A失败了，那么B和C会失败，如果B失败了，那么C会接管，依此类推。

您可以增加代理的复制因子。您可以创建increase-replication-factor . JSON，并将以下内容放入其中:

{“版本”：1，“分区”：[{“主题”：“信号”，“分区”：0，“副本”：[0,1,2]}，{“主题”：“信号”，“分区”：1，“副本”：[0,1,2]}，{“主题”：“信号”，“分区”：2，“副本”：[0,1,2]}]}

要增加给定主题的副本数量，您必须：

用下面的命令指定现有主题的额外分区（比如说从2增加到3）

bin/kafktopics.sh --zookeeper localhost:2181 --alter --topic topic-to-increase --partitions 3

有一个zoo.cfg文件，您可以在其中添加与ZooKeeper相关的IP和配置。

Answer 2

要从单个kafka代理运行主题，您必须在创建该主题时将复制因子设置为1(显式地，或通过< code > default . replication . factor 隐式地)。这意味着主题的分区将位于单个代理上，即使在增加代理数量之后。

您必须增加副本的数量，如kafka文档中所述。您还必须注意，内部__consumer_offsets主题有足够多的副本。这将启动复制过程，最终原始代理将成为每个主题分区的领导者，而另一个代理将成为跟随者并完全跟上。您可以使用< code > Kafka-topics . sh-describe 来检查每个分区在ISR中都有两个代理(同步副本)。

完成后，您应该能够使原始代理离线，kafka将选举新代理作为每个主题分区的领导者。不要忘记更新客户端，以便他们也知道新代理，以防客户端在原始代理关闭时需要重新启动（否则它将找不到集群）。