使用表白列表选项更新Debezium MySQL连接器

Question

我正在使用Debezium(0.7.5)MySQL连接器，我试图了解如果我想使用table.whitelist选项更新此配置，那么最好的方法是什么。

假设我创建了一个连接器，如下所示：

curl -i -X POST -H "Accept:application/json" -H  "Content-Type:application/json" http://debezium-host/connectors/ -d '
{
  "name": "MyConnector",
  "config": {
      "connector.class": "io.debezium.connector.mysql.MySqlConnector",
      "connect.timeout.ms": "60000",
      "tasks.max": "1",
      "database.hostname": "myhost",
      "database.port": "3306",
      "database.user": "***",
      "database.password": "***",
      "database.server.id": "3227197",
      "database.server.name": "MyServer",
      "database.whitelist": "myDb",
      "table.whitelist": "myDb.table1,myDb.table2",
      "database.history.kafka.bootstrap.servers": "kb0:9092,kb1:9092,kb2:9092",
      "database.history.kafka.topic": "MyConnectorHistoryTopic",
      "max.batch.size": "1024",
      "snapshot.mode": "initial",
      "decimal.handling.mode": "double"
    }
}'

过了一段时间（2周），我需要将一个新表(mydb.table3)添加到这个table.whitelist选项中（而且这个表是一个旧表，它是在连接器之前创建的）

我尝试的是：

• 暂停连接器。
• 删除了历史主题（也许这就是问题所在？）。
• 通过API update config Endpoint更新了配置。
• 恢复连接器。

通过API更新命令：

curl -i -X PUT -H "Accept:application/json" -H  "Content-Type:application/json" https://kafka-connect-host/connectors/MyConnector/config/ -d '
{
  "connector.class": "io.debezium.connector.mysql.MySqlConnector",
  "connect.timeout.ms": "60000",
  "tasks.max": "1",
  "database.hostname": "myhost",
  "database.port": "3306",
  "database.user": "***",
  "database.password": "***",
  "database.server.id": "3227197",
  "database.server.name": "MyServer",
  "database.whitelist": "myDb",
  "table.whitelist": "myDb.table1,myDb.table2,myDb.table3",
  "database.history.kafka.bootstrap.servers": "kb0:9092,kb1:9092,kb2:9092",
  "database.history.kafka.topic": "MyConnectorHistoryTopic",
  "max.batch.size": "1024",
  "snapshot.mode": "schema_only",
  "decimal.handling.mode": "double"
}'

但这并不奏效，也许这根本不是最好的方法。在其他连接器中，我没有使用table.whitelist选项，所以当我需要侦听新表时，我没有这个问题。

我的最后一个选择是删除这个连接器，并创建另一个连接器，使用这个新配置来监听新表(mydb.table3)。问题是，如果我想从mydb.table3中获得初始数据，我必须使用快照initial来创建，但我不想从其他表mydb.table1、mydb.table2的快照中生成所有消息。

Answer 1

此时还不支持对白名单/黑名单配置的更改。目前正在对此进行研究（请参见DBZ-175)，我们希望在下一个版本中提供对此的预览支持。有一个待定的公关，这需要更多的工作，虽然。

在实现之前，最好的选择是设置一个连接器的新实例，它只捕获您感兴趣的其他表。这是以运行两个连接器为代价的（这两个连接器都将维护一个binlog读取器会话），但只要您不需要经常更改筛选器配置，就可以实现这一目的。