kafka中不同主题的多个连接器都去同一个节点

Question

我在kafka-连接中创建了两个kafka连接器，它们使用相同的连接器类，但它们听的主题不同。

当我在节点上启动进程时，两个连接器最终都会在此进程上创建任务。但是，我希望一个节点只处理一个连接器/主题。如何将主题/连接器限制为单个节点？我在connect-distributed.properties中没有看到任何配置，其中进程可以指定使用哪个连接器。

谢谢。

Answer 1

分布式模式下的Kafka Connect可以作为一个或多个辅助角色的集群运行。每个辅助角色可以运行多个任务。根据您运行的连接器和辅助角色的数量，您将在同一个辅助角色上运行任务。这是经过深思熟虑的——这个想法是Kafka Connect将跨可用辅助角色为您管理您的任务和工作负载。

如果想要隔离处理，可以将Kafka Connect作为单独的连接集群运行，既可以在同一台机器上运行(确保使用不同的REST端口)，也可以在不同的机器上运行。

有关更多信息，请参阅体系结构和配置以了解配置单独集群的步骤。请注意，集群实际上可以是一个工作机，但在发生故障时，您没有任何冗余。