Kafka nodejs单线程模型-添加消费者

Question

我开发了一个基于Java的Kafka消费者，其中每个消费者实例有100个线程，当消费过程开始时，每个线程都得到一个分区（因为有100个分区），然后消费就完成了。

var kafka = require('kafka-node');
var HighLevelConsumer = kafka.HighLevelConsumer;
var Client = kafka.Client;
var client = new Client('xx.xx.xx.xxx:6080');
var topics = [ { topic: "test_1" }];


var options = {
    groupId: 'group1',
    autoCommit: true,
    autoCommitMsgCount: 100,
    autoCommitIntervalMs: 5000,
    fetchMaxWaitMs: 100,
    fetchMinBytes: 1,
    fetchMaxBytes: 1024 * 10,
    fromOffset: false,
    fromBeginning: false
};

var consumer = new HighLevelConsumer(client, topics, options);

consumer.on('message', function (message) {
        console.log(message);
    });

    consumer.on('error', function (err) {
        console.log('error', err);
    });
}

但这里的问题是这只是一个消费者。但是如果我添加多个nodejs进程，我可以完成100个消费者，但是添加每个消费者是一个成本很高的再平衡操作。

我想知道这是否正确的做法？有没有一种方法可以使用Kafka节点触发一个100线程的消费者？

Answer 1

我认为您可以使用supervisor来运行您的节点js代码。在supervisor configuration中，您可以指定需要运行的实例数（在您的情况下为100个）。

配置路径为:/etc/supervisor/conf.d/