如何使用 mongodb 接收器连接器对不同数据库和集合中的 kafka 主题进行分组，具体取决于 kafka 主题名称或消息键/值

Question

正如标题所述，我使用的是debezium Postgres源连接器，我希望MongoDB汇连接器根据名称将kafka主题分组到不同的集合和数据库中（也可以使用不同的dbs来隔离不相关的数据）。在查询时，我在mongo文档中遇到了topic.regexconnector属性。不幸的是，这只为每个成功匹配指定正则表达式的kafka主题在mongo中创建了一个集合，我计划使用同一个mongodb服务器来存放从多个debezium源连接器捕获的许多dbs。你能帮助我吗？

注意：我阅读了这个mongo接收器设置FieldPathNamespaceMapper，但我不确定它是否符合我的需求，也不确定如何正确配置它。

Answer 1

在 kafka 中，工作线程是可以运行多个连接器的简单容器。对于每个连接器，工作人员根据内部规则和您的配置生成任务。因此，如果您看一下mongodb接收器连接器配置：

https://www . MongoDB . com/docs/Kafka-connector/current/sink-connector/configuration-properties/all-properties/

您可以使用相同的connection.uri、数据库和集合或不同的值创建不同的连接器。因此，您可以使用topics.regex或topics参数对具有自己的connection.uri、数据库和集合的单个连接器的主题进行分组，并同时运行多个连接器。请记住，如果tasks.max

Answer 2

< code>topics.regex是一个通用的接收器连接器，并不是Mongo独有的。

如果我正确理解了这个问题，显然只会在配置的数据库中为实际存在的 Kafka 主题（匹配模式）创建集合并被接收器使用。

如果您想要与模式不匹配的集合，那么您仍然需要使用它们，但需要在将记录写入Mongo之前通过RegexRouter转换显式重命名主题