如何利用kafka-node控制已消费kafka消息的提交

Question

我第一次在kafka中使用Node,使用Kafka-Node。使用消息需要调用外部API，这甚至可能需要一秒钟的时间来响应。我希望克服我的消费者的突然失败，这样，如果一个消费者失败了，另一个将替换它的消费者将收到相同的消息，即它的工作没有完成。

我正在使用Kafka0.10并尝试使用ConsumerGroup。

我想到了在options中设置autocommit:false，并且只在消息的工作完成后提交消息（就像我以前对一些Java代码所做的那样）。

但是，我似乎不能确定，只有在消息完成之后，我应该如何正确地提交消息。我该怎么犯呢？

我的另一个担心是，由于回调，下一个消息似乎在上一个消息完成之前就被读取了。而且我担心，如果消息x+2在消息x+1之前完成，那么偏移量将被设置为x+2，因此在失败的情况下，x+1将永远不会被重新执行。

这里基本上是我到目前为止所做的：

var options = {
    host: connectionString,
    groupId: consumerGroupName,
    id: clientId,
    autoCommit: false
};

var kafka = require("kafka-node");
var ConsumerGroup = kafka.ConsumerGroup;

var consumerGroup = new ConsumerGroup(options, topic);

consumerGroup.on('connect', function() {
    console.log("Consuming Kafka %s, topic=%s", JSON.stringify(options), topic);
});

consumerGroup.on('message', function(message) {
    console.log('%s read msg Topic="%s" Partition=%s Offset=%d', this.client.clientId, message.topic, message.partition, message.offset);
    console.log(message.value);
    doSomeStuff(function() {
        // HOW TO COMMIT????
        consumerGroup.commit(function(err, data) {
            console.log("------ Message done and committed ------");
        });
    });
});

consumerGroup.on('error', function(err) {
    console.log("Error in consumer: " + err);
    close();
});

process.once('SIGINT', function () {
    close();
});

var close = function() {
    // SHOULD SEND 'TRUE' TO CLOSE ???
    consumerGroup.close(true, function(error) {
        if (error) {
            console.log("Consuming closed with error", error);
        } else {
            console.log("Consuming closed");
        }
    });
};

Answer 1

在这里您可以做的一件事是为您处理的每个消息都有一个重试机制。

您可以在此线程上查阅我的答案:https://stackoverflow.com/a/44328233/2439404

我使用kafka-consumer使用来自Kafka的消息，使用async/cargo将它们批处理在一起，并将它们放入async/queue（内存队列）中。队列将一个工作函数作为一个争论点，我正在向该争论点传递async/retryable。

对于您的问题，您可以使用retryable对您的消息进行处理。https://caolan.github.io/async/docs.html#可重试

这也许能解决你的问题。