kafka -分区键放入错误分区的消息

Question

我想知道，在什么情况下，具有相同分区键的消息会进入不同的分区。

我使用下面给出的命令运行了属于同一组的两个消费者在控制台中监听一个主题：

sudo /etc/kafka/kafka_2.11-1.1.0/bin/kafka-console-consumer.sh --
bootstrap-server localhost:9092 --topic demo3  --consumer.config 
config/consumer.properties --property print.key=true --property 
key.separator=:

我使用“纳米/Kafka-php”库将消息放入带有键 abc 的主题演示 3。当我发送多个这样的消息时，我发现很少有消息转到第二个消费者，而大多数消息都发送给消费者1。

由于我对所有消息使用相同的密钥abc，因此我希望所有消息都由同一个使用者使用。每个使用者都绑定到每个分区。

我使用以下代码来生成消息：

$config = \Kafka\ProducerConfig::getInstance();
$config->setMetadataRefreshIntervalMs(10000);
$config->setMetadataBrokerList('x.x.x.x:9092', 'y.y.y.y:9092');

$config->setRequiredAck(1);
$config->setIsAsyn(false);
$config->setProduceInterval(500);
$producer = new \Kafka\Producer(
function() {
    return [
        [
            'topic' => 'demo3',
            'value' => 'test message.',
            'key' => 'abc',
        ],
    ];
}
);

$producer->success(function($result) {
 var_dump($result);
});
$producer->error(function($errorCode) {
    var_dump($errorCode);
});
$producer->send(true);

此屏幕截图清楚地显示，已向一个消费者发送了3条消息，另一条发送给另一个消费者

Answer 1

根据 Java 文档，

如果指定了有效的分区号，则在发送记录时将使用该分区。

如果未指定分区但存在键，则将使用键的哈希选择分区。

如果键和分区都不存在，将以循环方式分配一个分区

Answer 2

你说的是真的，你应该看到相同的消费者使用相同的密钥“abc”的消息。你能检查重新平衡是否开始，也许第一个消费者离开分区到另一个吗？或者，使用这个php kafka producer(我从未使用过)可以跟踪每个消息放在哪个分区。kafka生产者应该在发送消息时获得RecordMetadata信息，以便知道消息被分配到哪个分区和偏移量。因为是生产者决定目标分区，所以您应该确保php kafka生产者工作正常。