Kafka Broker找不到集群id，并在docker重启后创建新的集群id

Question

我用kafka broker和zookeeper创建了docker，以运行脚本开始。如果我做了fresh start，它将正常启动并且运行正常（Windows->WSL->两个tmux窗口，一个会话）。如果我关闭kafka或zookeeper并重新启动它，它将正常连接。

当我停止docker容器时（docker stop my_kafka_container)出现问题。然后从脚本开始。/run_docker。在该脚本中，在开始之前，我删除旧容器docker rm my_kafka_container，然后docker运行。

Zookeeper在文件meta.properties中正常启动，它有以前启动时的旧集群id，但kafka broker由于某种原因无法通过znode cluster/id找到这个id，并创建了一个不是存储在meta.properties中的新id。我得到了

  ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentClusterIdException: The Cluster ID m1Ze6AjGRwqarkcxJscgyQ doesn't match stored clusterId Some(1TGYcbFuRXa4Lqojs4B9Hw) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
        at kafka.server.KafkaServer.startup(KafkaServer.scala:220)
        at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
        at kafka.Kafka$.main(Kafka.scala:84)
        at kafka.Kafka.main(Kafka.scala)
[2020-01-04 15:58:43,303] INFO shutting down (kafka.server.KafkaServer)

Answer 1

如果您100%确定您正在连接到正确的ZooKeeper和正确的Kafka日志目录，但由于某些原因，事情不匹配，并且您不想在试图恢复时丢失所有数据：

Kafka数据目录（检查log.dirs属性的config/server.properties，默认为/tmp/kafka-logs)包含一个名为meta.properties的文件。它包含群集ID。应该与注册到ZK的ID匹配。要么编辑该文件以匹配ZK，要么编辑ZK以匹配该文件，要么删除该文件（它包含集群id和代理id，第一个当前已中断，第二个通常在配置文件中）。在这个小手术后，Kafka将从您所有现有的数据开始，因为您没有删除任何数据文件。

如下所示:mv/tmp/kafka-logs/meta.properties/tmp/kafka-logs/meta.properties_old