分布式Kafka连接多个连接器和一个主题
分布式模式下Kafka Connect集群的偏移管理行为是什么，即运行多个连接器并监听同一组主题(或一个主题)？
因此，在分布式模式下，Kafka Connect 会将偏移量信息存储在 Kafka 中，此偏移量将由集群中的工作线程读取和提交。如果我在该 Kafka Connect 集群中运行多个连接器侦听同一主题，会发生什么情况？分区的偏移量是否与所有连接器相同，或者每个连接器在分区上的偏移量是否相同？
共有1个答案
在后台，接收器连接器具有属于使用者组的使用者（通常使用 group-id=“connect-connectorName”）。据我所知，您不能在同一使用者组中有两个接收器连接器（无论如何，在同一使用者组中有两个连接器是没有意义的 - 如果需要，您可以简单地增加任务数）。因此，在您的用例中，当消息传入时，它将由两个连接器处理，并且两个不同的偏移量将保留__consumer_offsets主题中（每个连接器/消费者组一个）。
-
我们有制作人将以下内容发送给Kafka： 主题=系统日志，每天 ~25，000 个事件 topic=nginx，每天 ~5，000 个事件 topic=zeek.xxx.log，每天~100，000个事件（总计）。在最后一种情况下，有 20 个不同的 zeek 主题，例如 zeek.conn.log 和 zeek.http.log 实例充当消费者，将数据从kafka发送到elasticsearch
-
我们已经成功地使用了MySQL - 使用jdbc独立连接器的kafka数据摄取，但现在在分布式模式下使用相同的连接器（作为kafka connect服务）时面临问题。 用于独立连接器的命令，工作正常 - 现在，我们已经停止了这一项，并以分布式模式启动了kafka connect服务，如下所示 2 个节点当前正在运行具有相同连接服务。 连接服务已启动并正在运行，但它不会加载 下定义的连接器。 应该对
-
我使用自己的自定义Sink插件运行Kafka Connect集群（本地有1个工人Docker Compose）。我想在连接器中使用几个主题：topicA、topicB、topicC，每个主题都有一个分区。 我的连接器启动时的配置子集如下： 使用此配置，我希望Kafka Connect为每个接收器任务分配一个主题，但遗憾的是，这不是我看到的。实践中发生的情况是，为分配了所有主题的每个任务调用Sink
-
如何以可伸缩的方式编写连接多个Kafka主题的使用者？ 我有一个主题用一个键发布事件，第二个主题用相同的键发布与第一个主题的子集相关的其他事件。我想编写一个订阅这两个主题的使用者，并为出现在这两个主题中的子集执行一些额外的操作。 理想情况下，我需要将主题绑定在一起，以便以相同的方式对它们进行分区，并同步地将分区分配给使用者。我怎么能这么做？ 我知道Kafka Streams将主题连接在一起，这样键
-
我们希望使用Kafka connect sink连接器将消息从Kafka复制到Mongo DB。在我们的用例中，我们有多个主题，每个主题都有一个分区（主题的名称可以用正则表达式表示，例如topic.XXX.name）。这些主题的数量在不断增加。我想知道Kafka connect架构是否适合这个用例。如果是这样，如何配置它的增益高可缩放性和并行性？任务是什么。最大值？工人数量？
-
我正在开发debezium mongodb源连接器。我可以通过提供kafka引导服务器地址作为远程机器（部署在Kubernetes中）和远程MongoDB URL在分布式模式下在本地机器中运行连接器吗？ 我尝试了这一点，我看到连接器成功启动，没有错误，只有几个警告，但没有数据从MongoDB流动。 使用以下命令运行连接器 遵循以下教程：https://medium.com/tech-that-wo