Kafka消费者架构设计：java插件或外部客户端

Question

我正在为kafka集群的数据使用者编写一个解决方案（使用kafka的泊坞站），但我仍然需要决定如何编码它：

< li >用本地语言Kafka开发:java，其中官方网站和git repo提供了示例，https://github . com/Apache/Kafka/tree/trunk/examples/src/main/Java/Kafka/examples < li >在以另一种语言(https://cwiki.apache.org/confluence/display/KAFKA/Clients,语)提供的另一个客户端中，例如Node.js

关键是我知道如何用两种语言编写解决方案，但我必须决定必须考虑哪一种：

• 真正的性能消耗Kafka消息而不做瓶颈。（我的第一印象是，用Kafka构建的相同核心语言编写everthing将减少过载），但我不太确定这一点。
• 在解决方案的设计方面（保持语言、代码样式的一致性和可扩展性）。整个Web界面，其余服务以及数据持久性都是在节点中开发的.js客户端都是在javascript / HTML5中开发的。

这是针对 ubuntu 服务器，在完全多克化的环境中，我使用 Node.js作为 Web 服务和连接模块的核心语言。我仍然没有调侃 kafka 客户端，而是使用默认选项：

import org.apache.kafka.clients.consumer.KafkaConsumer;
... 
props = ...
KafkaConsumer consumer = new KafkaConsumer<>(props);

var kafka = require('kafka-node');
...
client = ....
var consumer = new kafka.Consumer( client, [{ topic: 'topicVehicle' }], { autoCommit: true });

我必须处理用不同语言（java、nodejs…可能是python）在不同层维护代码的问题，我想知道哪种解决方案更合适。

Answer 1

我的看法是，出于以下几个原因，您不希望将 Kafka 使用者创建为 Kafka 插件：

• 主要原因：创建独立的消费者允许您根据需要，通过添加或删除同一消费者组的消费者实例来扩展它并根据负载进行扩展，让Kafka在这些消费者实例之间重新分配用于处理的可用分区

其他原因：

• 插件通常是扩展您为-Kafka编写插件的任何功能的东西，在这种情况下
• Kafka作为分布式消息系统的最大优势是您可以让许多独立的消费者各自做自己的事情，根据需要来来去去
• 这些消费者的创建和部署不应与Kafka（或其插件）的部署相结合-您应该能够添加/删除不依赖于Kafka本身的消费者

现在，如果您正在开发某种新型的连接器或其他消费者，它实际上更像是一个框架/工具，将被其他消费者/生产者使用-将其开发为Kafka的插件是有意义的