Debezium MongoDB连接器不执行初始快照

Question

我正在使用MongoDB atlas和一个分片副本集集群，以及文档中描述的Debezium MongoDB连接器。

这是我当前配置的样子（运行独立设置）：

name=dev-mongodb
connector.class=io.debezium.connector.mongodb.MongoDbConnector
tasks.max=4
mongodb.hosts=<some-url>.mongodb.net:27017
mongodb.name=mongodb
mongodb.user=<admin_user>
mongodb.password=<admin_user_pw>
database.include.list=<list_of_databases>
database.history.kafka.bootstrap.servers=<list_of_aws_msk_brokers>
database.history.kafka.topic=mongodb.history
include.schema.changes=true
mongodb.ssl.enabled=true

我可以在Kafka主题中接收CDC事件，但文档中描述的初始快照从未制作过。我尝试了另一种mongodb。名称导致创建和使用完全不同的主题集，但结果相同。

MongoDB oplog有大约200万行，kafka主题总共几乎没有几千条消息。

进一步挖掘时，连接器似乎记录了oplog最后一个位置的偏移量。是否可以重置此偏移？

Answer 1

在我看来，您在多个部署中使用了相同的连接器名称，这意味着尽管更改了配置并试图重置连接器的状态，它仍会继续查找先前的偏移量并恢复oplog位置。

有两种选择：

• 使用完全不同的连接器名称创建新连接器
• 手动清除接头的偏移

很多用户更喜欢第一个选项，因为它最简单。Kafka会根据连接器的名称记录连接器的偏移量，因此，只需调整连接器的名称，Kafka就会知道连接器是全新的，它找不到任何要恢复的持久偏移量。

第二个选项有点复杂，因为您需要首先找到存储偏移量的Kafka主题，通常默认情况下这是连接-偏移量，但可以被重写。一旦您知道该主题，您应该关闭所有使用该主题的连接器。如果您在连接器使用该主题时调整该主题，它可能会导致意外行为。

使用Kafka提供的kafkacat工具，您需要运行以下假定为默认主题名称的工具，因此相应地进行调整：

$ kafkacat -b localhost:9092 -t connect-offsets -C -f '\nKey (%K bytes): %k
  Value (%S bytes): %s
  Timestamp: %T
  Partition: %p
  Offset: %o\n'

这将生成一些输出，注意“键”和“分区”很重要。为了重置偏移量，您需要使用正确的“Key”和“Partition”值在主题中有效地写入一个NULL（或tombstone）。

假设以上提供了这一产出：

% Reached end of topic connect-offsets [0] at offset 0
% Reached end of topic connect-offsets [1] at offset 0
[…]
Key (52 bytes): ["source-file-01",{"filename":"/data/testdata.txt"}]
Value (15 bytes): {"position":87}
Timestamp: 1565859303551
Partition: 20
Offset: 0
[…]

您需要执行以下命令：

$ echo '["source-file-01",{"filename":"/data/testdata.txt"}]#' | \
    kafkacat -b localhost:9092 -t connect-offsets -P -Z -K# -p 20

在echo语句中，我们指定键后跟kafkacat参数-K#定义的键分隔符#，以及-Z选项，该选项将空值发送为NULL。-p参数是指定分区的地方，正确设置键和分区很重要。

完成此操作后，您可以安全地重新启动使用偏移主题的连接器，您应该看到连接器的行为就像是一个全新的部署。

请注意，如果使用的连接器使用的是MySQL、SQL Server或Oracle等数据库历史记录主题，则还需要清除数据库历史记录主题。

然而，正如我之前所说的，使用一个新名称重新部署连接器更为简单，以避免需要使用所有Kafka主题魔法来获得相同的结果。