来自多个独立经纪人的Kafka接收器

Question

我想将多个数据库的更改聚合到一个数据库中，所以我想在每个数据库旁边运行一个Debezium连接器和一个Kafka服务器/代理，并使用Kafka接收器连接器从所有这些Kafka中消费写入一个数据库。

问题是，我是否可以使用单个 Kafka 接收器连接器实例同时使用来自多个独立（不是集群）的 Kafka 代理。

Answer 1

您可以将连接属性文件指向您想要的任何bootstrap.servers

属性本身必须是单个“集群”的一部分（即使是单个代理），这将由代理 zookeeper.connect 属性确定

Answer 2

在每个数据库旁边运行一个Kafka代理听起来非常复杂。据我所知，似乎不支持连接到不同Kafka代理集群的单个Kafka连接工作器。

如果您沿着这条路走下去，使用Kafka MirrorMaker之类的工具将您的本地主题复制到一个主Kafka集群，然后使用Kafka Connect Sink从一个worker读取所有复制的主题并写入中央数据库，这可能更有意义。

最终，在每个源数据库旁边运行Broker非常复杂。根据您的描述，听起来您在不同的数据库之间有一些连接，但它是有限的，并且可能容易断开连接。您是否考虑过替代设计：

• 数据库复制：使用您的数据库供应商的本机异步复制将数据复制到单个目标数据库。远程区域始终是只读的，复制不应该减慢您的源数据库（当然取决于数据库）。异步数据库复制通常可以处理一些网络断开和延迟。
• 本地Debezium：在每个DB旁边使用Debezium运行一个进程，并将所有事件保存到一个文件中。将文件复制到某个中央服务器或S3等云存储服务。最后，将这些文件导入中央数据库。这基本上会完全跳过Kafka。