具有多个组共享相同配置的分布式 Kafka 源连接器
我有两个Kafka连接器节点，分别是Node-A和Node-B。
我在每个节点中运行一个分布式工作器（指向同一个Kafka集群）。
组id和客户机id在两个分布式工作线程中是唯一的。
连接器任务是在两个节点上使用 http POST 请求成功创建的。连接器任务为同一主题生成消息。
注意:我知道分配的工人应该有相同的组id来分配任务。但我是针对一个具体的案例，作为一个实验来做上面所说的。
我使用来自Node-A的http GET请求，比如http://localhost:8083/connectors
http响应(来自Node-A)显示了从两个节点创建的连接器，即从Node-A和Node-B创建的连接器，而我认为响应应该只产生从Node-A创建的连接器，而不是从Node-B创建的连接器。
共有1个答案
http响应(来自节点A)显示了从两个节点(即节点A和节点B)创建的连接器
听起来两个组共享相同的配置和状态主题。
status.storage.topic
offset.storage.topic
config.storage.topic
根据文档，建议您阅读每个主题应具有的设置的说明，并手动创建主题
https://kafka.apache.org/documentation/#connect_running
-
我们有制作人将以下内容发送给Kafka： 主题=系统日志，每天 ~25，000 个事件 topic=nginx，每天 ~5，000 个事件 topic=zeek.xxx.log，每天~100，000个事件（总计）。在最后一种情况下，有 20 个不同的 zeek 主题，例如 zeek.conn.log 和 zeek.http.log 实例充当消费者，将数据从kafka发送到elasticsearch
-
分布式模式下Kafka Connect集群的偏移管理行为是什么，即运行多个连接器并监听同一组主题(或一个主题)？ 因此，在分布式模式下，Kafka Connect 会将偏移量信息存储在 Kafka 中，此偏移量将由集群中的工作线程读取和提交。如果我在该 Kafka Connect 集群中运行多个连接器侦听同一主题，会发生什么情况？分区的偏移量是否与所有连接器相同，或者每个连接器在分区上的偏移量是否
-
问题内容： 我的MySQL数据库中有这些表： 通用表： Facebook表： 首席表： 基本上，常规表包含一些（ 显然 ）常规数据。基于generalTable.scenario，您可以在其他两个表中查找更多详细信息，这些表在某些熟悉的列中（例如，expiresAt），而在其他一些列中则不然。 我的问题是，如何仅通过一个查询就可以获取generalTable和正确的明细表的联接数据。 所以，我想这
-
我对Kafka是陌生的。我用spring boot创建了一个kafka消费者(spring-kafka dependency)。在我的应用程序中，我使用了consumerFactory和producerfactory beans进行配置。所以在我的应用程序中，我创建了如下的kafka消费者。 我的配置如下 所以我想并行消费，因为我可能会收到更多的消息。关于使用并行主题，我发现我需要为一个主题创建多
-
对集群设置有点困惑： > Zookeeper可以通过配置myid(1,2,3...)将其设置为群集例如，在zoo.cfg文件中具有zookeeper1:2888:3888、zookeeper2:2889:3889 对于Kafka，在server.properties文件中，是否必须为参数zookeeper.connect指定zookeeper服务器的完整列表，还是只要1就足够了？有什么不同吗？我见
-
Consul提供了一个用于存储配置和其他元数据的键/值存储。Spring Cloud Consul Config是Config Server和Client的替代方案。在特殊的“引导”阶段，配置被加载到Spring环境中。默认情况下，配置存储在/config文件夹中。基于应用程序的名称和模拟解析属性的Spring Cloud Config顺序的活动配置文件创建多个PropertySource实例。例