kafka用户群在kafka节点中获取重复消息

Question

我正在尝试为节点中的应用程序设置Kafka队列。我在一个消费者组中有3个消费者，并且它订阅了一个主题，但是当生产者发送消息到一个有3个分区的主题时，消费者组接收到重复的消息，例如，consumer1从partition1读取并获取消息，而consumer2也从相同的分区读取并获取相同的消息。

我给出了到git存储库的链接，其中有所有的可执行代码。我找不到它是设置问题吗？或节点包问题。

为创建使用者组提供的选项如下

    consumerOptions = {
          'kafkahost:'localhost:9092',
          groupId: groupName,
          autoCommit: true,
          autoCommitIntervalMs: 1000,
          sessionTimeout: 15000,
          fetchMaxBytes: 10 * 1024 * 1024, // 10 MB
          protocol: ['roundrobin'],
          fromOffset: 'earliest'
    };

    var consumer = new kafka.ConsumerGroup(Object.assign({ id: 'consumer1' }, consumerOptions), topicName);

请参阅此链接了解可执行代码、broker配置和zookeeper配置https://github.com/raghavendralacharya/kafka-node.git

Answer 1

尝试将fromoffset配置更改为：

fromOffset: 'latest'