Kafka Connect分布式tasks.max配置设置的理想值？

Question

我希望产品化并部署我的Kafka Connect应用程序。然而，我对任务有两个问题。最大值设置，这是必需的，非常重要，但具体设置该值的具体内容很模糊。

如果我有一个包含n个分区的主题，我希望从中使用数据并将其写入某个接收器（在我的情况下，我正在写入S3），那么我应该设置什么任务。最大值到？我应该把它设置为n吗？我应该把它设置为2n吗？直觉上，我似乎想将值设置为n，这就是我一直在做的。

如果我更改我的 Kafka 主题并增加该主题的分区怎么办？我将不得不暂停我的 Kafka 连接器并增加任务.max如果我将其设置为 n？如果我将值设置为 2n，那么我的连接器应该自动增加它运行的并行度吗？

Answer 1

我们在Kafka-Connect(5.1.2)实例之间的工作负载分配上遇到了问题，这是由于< code>tasks.max的数量大于分区的数量。

在我们的例子中，有10个Kafka Connect任务和3个要消费的主题分区。这10个工人中的3个被分配到主题的3个分区，另外7个没有被分配到任何分区(这是预期的)，但是Kafka Connect平均地分配了任务，没有考虑他们的工作量。因此，我们最终将任务分配给我们的实例，其中一些实例处于空闲状态(因为它们没有被分配给任何非空的工作者)，或者一些实例比其他实例工作得更多。

为了解决这个问题，我们将tasks.max设置为等于主题的分区数。

我们真的很意外地看到Kafka Connect在重新平衡时不考虑任务的分配。另外，我找不到任何关于< code>tasks.max设置的文档。

Answer 2

在 Kafka Connect 接收器中，任务实质上是使用者线程和接收要从中读取的分区。如果您有 10 个分区并且有任务.max设置为 5，则每个任务接收 2 个分区以读取和跟踪偏移量。如果已配置任务.max则 Connect 将启动与它正在阅读的主题的分区相等的任务数。

如果更改主题的分区计数，则必须重新启动连接任务，如果任务.max仍大于分区计数，则 Connect 将启动许多任务。

编辑，刚刚发现连接器上下文：https://kafka.apache.org/0100/javadoc/org/apache/kafka/connect/connector/ConnectorContext.html

必须编写连接器以包含此内容，但看起来 Connect 能够在主题更改（添加/删除分区）时重新配置连接器。