Kafka节点突然消耗偏移量0

Question

有时，kafka节点消费者从偏移量0开始消费，而其默认行为是仅消费较新的消息。然后它将不会切换回默认行为。你知道如何解决这个问题吗？会发生什么，它的行为会突然改变？代码非常简单，而且不会改变代码。

var kafka = require("kafka-node") ;
  Consumer = kafka.Consumer;
  client = new kafka.KafkaClient();


  consumer = new Consumer(client, [{ topic: "Topic_23", partition: 0}
                                    ]);


consumer.on("message", function(message) {

    console.log(message)


  });

到目前为止，我找到的唯一解决办法是改变Kafka话题。然后一切又正常了。有什么想法吗？

Answer 1

在Kafka，补偿与特定消费者无关，而是与消费者群体相关。在代码中，您不提供消费者组，因此，每次启动消费者时，它都会被分配到不同的消费者组，因此，偏移量从0开始。

以下内容应该能起到作用（很明显，这是你第一次阅读所有的信息）：

var kafka = require("kafka-node") ;

Consumer = kafka.Consumer;
client = new kafka.KafkaClient();

payload = [{
    topic: "Topic_23", 
    partition: 0
}]

var options = {
    groupId: 'test-consumer-group',
    fromOffset: 'latest'
};


consumer = new Consumer(client, payload, options);
consumer.on("message", function(message) {
    console.log(message)
  });