AWS 上的Kafka消费问题

Question

Kafka在2个代理和1个Zookeeper实例中的奇怪问题，都在AWS上。每个代理都位于一个单独的可用性区域(AZ)。孤独的动物园管理员实例与其中一个代理共享AZ。我正试图模拟一种滚动重启的情况，在这种情况下，即使一个代理出现故障，我们也希望数据流向Kafka。

当另一个 AZ 代理被移除时，我能够看到向与 Zookeeper 共享 AZ 的代理平稳过渡。但是，当我删除与 Zookeeper 共享的可用区上的 Kafka 代理时，其他 AZ 代理将不会消耗数据。不过，我看到领导者分配以应有的方式发生。我不确定这是否是我们的设置，Kafka或动物园管理员的问题。

我们为代理间通信启用了SSL，生产者也使用SSL与Kafka对话。这是server.properties，除了broker-id之外，它在两个代理上都是相同的。这也是我们的Kafka装置。

编辑：我对不同的消费者有相同的结果（使用Logstash）。

Broker-1与Zookeeper共享AZ。经纪-0是另一个AZ的唯一成员。

第1部分：在Broker-0上停止Kafka

/opt/kafka/bin/kafka-topics.sh --zookeeper 10.0.1.x:2181 --describe
Topic:test  PartitionCount:1        ReplicationFactor:2     Configs:
    Topic: test Partition: 0    Leader: 0       Replicas: 0,1   Isr: 1,0

在 Broker-1 上运行使用者。

/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic test --new-consumer --consumer.config client.ssl

领导是经纪人-0。可以使用Broker-1上的数据停止Broker-0上的Kafka服务。仍然可以使用/读取Broker-1上的数据。领导者从代理-0更改为代理-1

/opt/kafka/bin/kafka-topics.sh --zookeeper 10.0.1.x:2181 --describe
Topic:test  PartitionCount:1        ReplicationFactor:2     Configs:
    Topic: test Partition: 0    Leader: 1       Replicas: 0,1   Isr: 1

第二部分：让两个经纪人同时运作

在经纪人-0上启动Kafka

/opt/kafka/bin/kafka-topics.sh --zookeeper 10.0.1.x:2181 --describe
Topic:test  PartitionCount:1        ReplicationFactor:2     Configs:
    Topic: test Partition: 0    Leader: 1       Replicas: 0,1   Isr: 1,0

第三部分：阻止经纪人Kafka

在Broker-0上运行消费者

/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic test --new-consumer --consumer.config client.ssl

领导是经纪人-1。可以使用Broker-0上的数据停止Broker-1上的Kafka服务不能使用/读取Broker-0上的数据。

/opt/kafka/bin/kafka-topics.sh --zookeeper 10.0.1.x:2181 --describe
Topic:test  PartitionCount:1        ReplicationFactor:2     Configs:
    Topic: test Partition: 0    Leader: 0       Replicas: 0,1   Isr: 0

第 4 部分：让两个代理都运行

在Broker-1上启动Kafka备份将立即恢复数据消耗。奇怪的是，一旦Broker-1 Kafka恢复在线，在明显的“非消费”阶段发送的消息也会出现。

/opt/kafka/bin/kafka-topics.sh --zookeeper 10.0.1.x:2181 --describe
Topic:test  PartitionCount:1        ReplicationFactor:2     Configs:
    Topic: test Partition: 0    Leader: 0       Replicas: 0,1   Isr: 0,1

有什么见解吗？

Answer 1

经过令人沮丧的长期调查，问题似乎源于Kafka

Kafka将消费者偏移量存储在一个名为“__consumer_offsets”的主题中。默认情况下，Kafka创建这个主题的复制因子为0。因此，这个主题只驻留在一个代理上，而且只有一个代理。所以，当这个代理关闭时，猜猜看会发生什么？数据仍然会进入Kafka，但是没有消费者可以再读取数据了，因为它无法访问消费者偏移量。

所以，这就是我所做的。我手动更改了本主题的 50 个分区中每个分区的复制因子，并再次运行了我的测试。你知道上面的例行公事 - 杀死经纪人-0，把它带回来，杀死经纪人-1，亚达亚达。你猜怎么着？一切都如预期的那样工作。现在我们知道问题是什么了！

要创建复制因子大于1的主题，我们需要将此属性添加到Kafka conf：

offsets.topic.replication.factor=2

并为此主题提供更合理数量的分区：

偏移量.主题.num.分区 = 5

然而，可怕的是，一旦创建了这个内部主题，就无法更改复制因子或分区计数，除非您拆除整个基础架构（Kafka Zookeeper）并重新开始。很坏的（我希望我错了）

现在，这是一个bug还是一个特性？我不知道。不管怎样，对我们来说都很糟糕。