使用Kafka连接转换Kafka消息有意义吗？

Question

我们的基础设施中有融合平台。核心是，我们使用kafka代理来分发事件。许多设备会生成Kafka主题的事件（每种类型的事件都有一个Kafka主题），事件在谷歌的protobuf中序列化。我们有confluent的模式注册表来跟踪protobuf模式。

我们需要的是，对于一些事件，我们需要应用一些转换，然后将转换输出发布到其他一些Kafka主题。当然，Kafka流是实现这一点的一种方法，如本例中所示。然而，我们不希望每次转换都有一个java应用程序（这会增加项目和开发/部署工作的复杂性），将所有流放在一个应用程序中感觉不太合适（修改一个应用程序需要停止所有流并重新启动）。

在这一点上，我们认为ConFluent的Kafka Connect可能是更好的方法。我们可以有几个工作人员，我们可以将他们部署到一个kafka连接实例/或集群中。问题是；

使用kafka连接从一个kafka主题获取消息并将其发送到另一个kafka主题是否有意义？因为所有用例和示例都旨在将数据从外部（数据库、文件等）获取到kafka，并从kafka获取到外部。

Answer 1

为了澄清，Kafka连接不是“融合的”，它是阿帕奇Kafka的一部分。

虽然可以将MirrorMaker2/Confluent Replicator与转换一起使用，但老实说，这与将转换逻辑提取到共享库中，然后捆绑一个可部署的Kafka Streams应用程序没有太大区别，该应用程序接受输入和输出主题的配置参数，并在两者之间进行转换。

你对单点管理的观点很好，但这也是单点失败。。。如果使用Connect，更改转换插件还需要停止并重新启动连接服务器，如果所有主题都是同一连接器的一部分，则任何任务失败都会停止部分主题转换

无论如何，Kafka流（或KSQL）是集群间翻译的首选

您还可以查看Apache Nifi等解决方案，以实现更复杂的事件管理和路由