Kafka在一段时间后停止，失去经纪人

Question

我有4个Kafka和debezium一起运行。经过几天的良好运行后，三台kafka机器脱离网络一段时间，在< code > connect distributed . out 日志文件中，我收到了许多包含以下错误的消息:

[2020-05-04 13:27:02,526] WARN [Consumer clientId=connector-consumer-sink-warehouse-6, 
groupId=connect-sink-warehouse] 133 partitions have leader brokers without a matching listener,
 including [SCT010-2, SC2010-2, SC1010-0, SC1010-1, SF4010-0, SUB010-0, SUB010-1, SWP010-0, 
SWP010-1, ACO010-2] (org.apache.kafka.clients.NetworkClient:1044)

我有4台Kafka机器，经纪人从0到3

192.168.240.70 - Broker 0
192.168.240.71 - Broker 1
192.168.240.72 - Broker 2
192.168.240.73 - Broker 3

动物园管理员：

<代码>192.168.240.70

关注我的服务器属性 - 除了侦听器之外，有相同的 advertised.listeners 指向安装 Kafka 的计算机的相同 IP，并且 broker.id 必须是唯一的（从 0 到 3）：

broker.id=0
listeners=CONTROLLER://192.168.240.70:9091,INTERNAL://192.168.240.70:9092
advertised.listeners=CONTROLLER://192.168.240.70:9091,INTERNAL://192.168.240.70:9092
listener.security.protocol.map=CONTROLLER:PLAINTEXT,INTERNAL:PLAINTEXT
control.plane.listener.name=CONTROLLER
inter.broker.listener.name=INTERNAL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/william/kafka/data/kafka/
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=1
log.retention.hours=150
log.retention.bytes=200000000000
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

zookeeper.connect=192.168.240.70:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=3

kafka 主题（配置/偏移和状态）显示复制中的问题。有一些与监听器配置有关吗？

关于连接器运行状况：

并且，在kafka连接上。只有一个经纪人出现：

如何修复此错误？似乎与领导人选举有关，或者在长时间没有经纪人的情况下找到领导人。

Answer 1

经过研究，我发现了问题所在。因此，为了在这里提供帮助，请遵循有关问题的概念：

当我们创建分布式Kafka系统时，我们将话题分布在经纪人周围，并创建领导者选举人。在我的情况下，我有4个经纪人，Zookeeper在飞行中选择他们将成为某些主题的领导者。

由于四个Kafka服务器中有三个关闭了一个多小时，动物园管理员试图联系到领导者，但联系不到。由于我的配置指出需要向三个经纪人复制相同的主题，动物园管理员无法保持主题健康。

我们有重新平衡配置：group.initial.rebalance.delay.ms=3，它每3秒尝试重新平衡一次。在一个 Kafka 代理关闭之前，我们尝试重新连接的次数有限。尝试发生了，动物园管理员无法联系到丢失的经纪人。

换言之，经纪人并没有倒闭，他们只是因为网络问题无法联系到Zookeeper，因此，一段时间后，Zookeepher的尝试被停止，一段时期后，Kafka经纪人再次可以联系到，但重新平衡的尝试被终止。

只是，简单地重启我的经纪人告诉zookeeper重新连接解决了我的问题，因为重启时，Kafka经纪人告诉zookeeper:-我在这里，等待你的指示。动物园管理员意识到失去了领袖，把一切都重新连接到正确的地方。

所以，努力提供帮助。