将包含数据的新表添加到现有Debezium连接器

Question

目标：

需要向现有的Debezium MySQL连接器版本1.1.1添加一个新表。最终的连接器重新启动后，应使用更新的配置（table.whitelist中的新表）将表中的数据填充到主题中。

问题：

没有明确的策略来添加一个新表，该表将在初始快照完成后（连接器的前一个版本正在工作）与其数据一起添加到Kafka中。我们正在寻找类似于snapshot.select.statement.overrides的东西，仅适用于工作的连接器。当快照已经创建并且连接器用新表重新启动时，snapshot.select.statement.overrides不起作用。

可能的解决方案：

为应使用数据初始化的表创建并运行新连接器（snapshot.mode=initial）。缺点：每个版本都可能包含一个新的连接器。

或

1. 为表创建迁移连接器（v2）（配置snapshot.mode=初始和新database.history.kafka.topic）
2. 快照完成后删除连接器v2
3. 删除上一个连接器（v1）的database.history.kafka.topic
4. 用连接器（v2）中的表更新连接器（v1）-将它们放到table.whitelist
5. snapshot.modeschema_only_recovery启动连接器（v1）

问题：

哪种方式是正式的？也许我错过了什么，有比第二种更简单的方式吗？

UPD：根据@Matar评论和一些调查，它看起来不需要删除database.history.kafka.topic，因为在默认配置中，它无论如何都会从数据库收集所有DDL。

Answer 1

使用最新版本的Debezium Server，您可以添加以下配置值

debezium.snapshot.new.tables=parallel

如果您使用的是Debezium，您可以尝试这个配置值

snapshot.new.tables=parallel

注意：Debeziyum服务器支持Kinesis、Google Pub sub和Apache Pulsar。我正在使用它，它的配置有点不同。我必须在每一项之前写上“debezium”

一旦添加了此配置，表中的任何添加都将被删除。白名单，对于这些额外的表，Debezium将创建快照。