Kafka Connect中的多消息转换

Question

我有Kafka-Connect，我需要将其与REST API集成，该API在使用单输入多数据模型调用时效果最好。

想象一下以下内容：

源主题-

Kafka源主题：

{"Foo":"Bar345354"}
{"Foo":"Bar454354"}

REST请求：

{
  "doWorkOn": {
    "message1Foo": "Bar345354",
    "message2Foo": "Bar454354",
    ...
  }
}

REST响应：

{
  "result": {
    "message1Foo": "Bar948474",
    "message2Foo": "Bar434343",
    ...
  }
}

Kafka Sink主题：

{"Foo":"Bar948474"}
{"Foo":"Bar434343"}

所以我想在给定的时间范围内转换多个消息。

Kafka-Connect转换（https://docs.confluent.io/current/connect/transforms/index.html）的留档表明它处理SMT或单输入单数据模型。所以我正在搜索与Kafka-Connect对应的MMT。

到目前为止，我没有找到它。有人能指出有哪些选择吗？

Answer 1

听起来Kafka Connect并不适合这里。Kafka Connect连接器适用于：

• 源连接器-将数据从系统拉入Kafka
• 接收器连接器-从Kafka推送到另一个系统。

这些都不符合你在问题中描述的模式。我认为解决方案在于编写一个流处理应用程序；从主题中获取数据，执行某些操作（外部REST调用），并将其写回另一个Kafka主题。

为此，Kafka Connect的对应物将是Kafka Streams。

编辑:再想一想，这种模式在合流复制器和MirrorMaker 2中都有先例，它们都像Kafka Connect连接器一样工作，从一个主题读取并写入另一个主题。