让kafka broker down的时候ctrl-c和kill -9有什么区别

Question

我正在浏览Kafka官方教程，在multibroker部分遇到了一个奇怪的问题。

我将简要列出我所做的工作：

• 在2181号港口运行当地动物园管理员
• 在端口 9092、9093、9094 上运行三个 kafka 代理
• 创建了一个具有一个分区和三个副本的主题：我的复制主题
• 在本主题中生成了几条消息

然后我想测试kafka的容错能力。我使用ctrl-c来终止主题的领导者，而不是按预期正常工作的kill-9。问题是这样的：

我无法使用来自Kafka的任何消息。

怎么了？

附言。我使用的命令与上面提到的教程完全相同
kafka 1.00

--更新了以下是一些关键输出：

 bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: my-replicated-topic  Partition: 0    Leader: 0   Replicas: 0,1,2 Isr: 1,0,2

然后我ctrl-c杀掉经纪人0:

 bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: my-replicated-topic  Partition: 0    Leader: 1   Replicas: 0,1,2 Isr: 1,2

目前我不能从其他经纪人那里消费

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9093 --from-beginning --topic my-replicated-topic

这是代理0的配置，除了代理id、端口和日志文件目录之外，其他配置与此相同。

broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

Answer 1

通过Ctrl-C退出进程与通过 kill-9kill终止进程之间存在差异 kill-9将发送SIGKILL信号，该信号将终止进程，且进程无法避免，因此，相当于kill-3的 Ctrl C

Answer 2

您的offsets.topic.replication。factor=1，因此如果您使用消费者的偏移量杀死代理，则没有其他副本，因此您没有偏移量。

__consumer_offsets主题上的复制因子= 1不是容错配置

您不仅需要更改此配置，而且还必须将现有的使用者偏移量主题修改为复制因子 = 3