Kafka 连接连接器限制为每个主题一个接收器任务

Question

我使用自己的自定义Sink插件运行Kafka Connect集群（本地有1个工人Docker Compose）。我想在连接器中使用几个主题：topicA、topicB、topicC，每个主题都有一个分区。

我的连接器启动时的配置子集如下：

...
"topics": "topicA,topicB,topicC",
"tasks.max": 3,
...

使用此配置，我希望Kafka Connect为每个接收器任务分配一个主题，但遗憾的是，这不是我看到的。实践中发生的情况是，为分配了所有主题的每个任务调用SinkTask:：open。每个接收器任务也会看到来自多个主题的记录，而不仅仅是一个主题。我可以确认所有任务都显示为正在运行。

除了上述配置之外，我是否需要启用任何东西来启用Kafka Connect以将一个接收器任务映射到一个主题？这是只有一个工作人员和Kafka Connect没有将任务拆分为同一工作人员上的单独线程的结果吗？

Answer 1

最后，我创造性地使用了SinkTaskContext的< code>pause()和< code>resume()方法。Kafka Connect将方便地调用< code>open(...)在消费者订阅的主题分区上，在该挂钩内是暂停您不感兴趣的主题的好机会。

见https://Kafka . Apache . org/26/javadoc/org/Apache/Kafka/connect/sink/sink task context . html

Answer 2

根据我的经验，做你要求的事情的唯一方法是用一个主题创建3个不同的连接器。

更具体地说，给出一个列表或主题模式将简单地为所有可用的消费者订阅整个列表。

我个人没有看到任何方法可以准确控制任务如何重新平衡或分配给主题或其分区。您可以在Connect中修改消费者客户端设置，但仅限在分配任务之后。