Kafka Connect：用于从一个主题写入多个表的接收器连接器
我想使用Kafka Connect通过CDC检测Postgres DB上一组表的更改，并将它们作为单个主题中的消息推送，其中键作为主表的逻辑键。
这将使使用者能够以正确的顺序使用数据更改，以便将其应用于目标数据库。
是否有源和汇连接器允许我实现这个目标？
我正在使用Debezium CDC源连接器进行Postgres。。。我可以将其配置为将所有表的所有消息路由到一个主题中。
但是，我无法找到能够使用消息并根据消息的架构写入正确表的Sink连接器。
共有1个答案
没有特定的水槽连接器的属性，如果那是你要找的
您可以使用单个消息转换来提取部分记录，以从单个接收器连接器主题设置传出主题名称
例子：https://docs.confluent.io/platform/current/connect/transforms/extracttopic.html
-
我是Kafka连线的新手。我有一个如下的用例: > 有一个共享主题，我在其中收到不同实体的消息，例如员工、部门（实际表名称不同） 员工和部门的模式在模式注册表中注册 使用Kafka接收器连接器，是否可以根据架构分离每个实体的数据并写入相应的表示例，进入主题的员工数据应转到员工表，部门数据应转到部门表 如果没有，还有其他更好的方法吗？
-
我使用自己的自定义Sink插件运行Kafka Connect集群（本地有1个工人Docker Compose）。我想在连接器中使用几个主题：topicA、topicB、topicC，每个主题都有一个分区。 我的连接器启动时的配置子集如下： 使用此配置，我希望Kafka Connect为每个接收器任务分配一个主题，但遗憾的是，这不是我看到的。实践中发生的情况是，为分配了所有主题的每个任务调用Sink
-
分布式模式下Kafka Connect集群的偏移管理行为是什么，即运行多个连接器并监听同一组主题(或一个主题)？ 因此，在分布式模式下，Kafka Connect 会将偏移量信息存储在 Kafka 中，此偏移量将由集群中的工作线程读取和提交。如果我在该 Kafka Connect 集群中运行多个连接器侦听同一主题，会发生什么情况？分区的偏移量是否与所有连接器相同，或者每个连接器在分区上的偏移量是否
-
如何以可伸缩的方式编写连接多个Kafka主题的使用者？ 我有一个主题用一个键发布事件，第二个主题用相同的键发布与第一个主题的子集相关的其他事件。我想编写一个订阅这两个主题的使用者，并为出现在这两个主题中的子集执行一些额外的操作。 理想情况下，我需要将主题绑定在一起，以便以相同的方式对它们进行分区，并同步地将分区分配给使用者。我怎么能这么做？ 我知道Kafka Streams将主题连接在一起，这样键
-
我参考了以下链接来了解Kafka的HDFS连接https://docs.confluent.io/2.0.0/Connect/connect-hdfs/docs/index.html 我能够通过配置单元集成将数据从Kafka导出到HDFS。 现在我正尝试在Java程序的帮助下将avro记录写入Kafka 当我把Avro记录写到Kafka主题时，我在Connect中出现以下错误
-
我在kafka-连接中创建了两个kafka连接器，它们使用相同的连接器类，但它们听的主题不同。 当我在节点上启动进程时，两个连接器最终都会在此进程上创建任务。但是，我希望一个节点只处理一个连接器/主题。如何将主题/连接器限制为单个节点？我在connect-distributed.properties中没有看到任何配置，其中进程可以指定使用哪个连接器。 谢谢。