Kafka连接：基于架构的单主题接收器到多个表
我是Kafka连线的新手。我有一个如下的用例:
>
有一个共享主题，我在其中收到不同实体的消息，例如员工、部门（实际表名称不同）
员工和部门的模式在模式注册表中注册
使用Kafka接收器连接器，是否可以根据架构分离每个实体的数据并写入相应的表示例，进入主题的员工数据应转到员工表，部门数据应转到部门表
如果没有，还有其他更好的方法吗？
共有1个答案
一次只能为单个表配置连接器。
因此，除了在数据本身中添加一个类似于＜code＞“entityType”＜/code＞的字段，并在数据库层中过滤掉它之外，我认为唯一的管理方法是Kafka Streams（或KSQL）将＜code＞filter（）＜/code〕过滤掉两种可能的数据类型，然后将它们＜code＞发送到（）＜/cde＞另一个主题，您可以让Connect运行并收听两个主题，它们写入各自的表。
-
我想使用Kafka Connect通过CDC检测Postgres DB上一组表的更改，并将它们作为单个主题中的消息推送，其中键作为主表的逻辑键。 这将使使用者能够以正确的顺序使用数据更改，以便将其应用于目标数据库。 是否有源和汇连接器允许我实现这个目标？ 我正在使用Debezium CDC源连接器进行Postgres。。。我可以将其配置为将所有表的所有消息路由到一个主题中。 但是，我无法找到能够使
-
我使用自己的自定义Sink插件运行Kafka Connect集群（本地有1个工人Docker Compose）。我想在连接器中使用几个主题：topicA、topicB、topicC，每个主题都有一个分区。 我的连接器启动时的配置子集如下： 使用此配置，我希望Kafka Connect为每个接收器任务分配一个主题，但遗憾的是，这不是我看到的。实践中发生的情况是，为分配了所有主题的每个任务调用Sink
-
分布式模式下Kafka Connect集群的偏移管理行为是什么，即运行多个连接器并监听同一组主题(或一个主题)？ 因此，在分布式模式下，Kafka Connect 会将偏移量信息存储在 Kafka 中，此偏移量将由集群中的工作线程读取和提交。如果我在该 Kafka Connect 集群中运行多个连接器侦听同一主题，会发生什么情况？分区的偏移量是否与所有连接器相同，或者每个连接器在分区上的偏移量是否
-
如何以可伸缩的方式编写连接多个Kafka主题的使用者？ 我有一个主题用一个键发布事件，第二个主题用相同的键发布与第一个主题的子集相关的其他事件。我想编写一个订阅这两个主题的使用者，并为出现在这两个主题中的子集执行一些额外的操作。 理想情况下，我需要将主题绑定在一起，以便以相同的方式对它们进行分区，并同步地将分区分配给使用者。我怎么能这么做？ 我知道Kafka Streams将主题连接在一起，这样键
-
我们希望使用Kafka connect sink连接器将消息从Kafka复制到Mongo DB。在我们的用例中，我们有多个主题，每个主题都有一个分区（主题的名称可以用正则表达式表示，例如topic.XXX.name）。这些主题的数量在不断增加。我想知道Kafka connect架构是否适合这个用例。如果是这样，如何配置它的增益高可缩放性和并行性？任务是什么。最大值？工人数量？
-
使用最新的 kafka 和 confluent jdbc 接收器连接器。发送一个非常简单的 Json 消息： 但是出现错误: Jsonlint说Json是有效的。我在 kafka 配置中保留了 json 。有什么指示吗？