Coucbase至Kafka信号源连接器

Question

我已经使用kafka source connector将文档从Couchbase传输到kafka。这些文档然后被复制到Mongo DB。

沙发底座 --

如果源连接器关闭，那么如何再次将所有文档同步到 Kafka？

有没有什么get和touch功能可以将kafka主题在关闭期间所做的所有更改都显示出来？

Answer 1

如果您想知道如何处理源连接器关闭时发生的文档更改，那么您不需要做任何事情。Kafka Connect存储源连接器的状态(偏移量),并将恢复StreamTask状态，并从停止的地方继续。Couchbase source连接器支持这一点，正如我们在这里的代码中所看到的，然后在这里用保存的偏移量来初始化DCP流。

如果你在问如何重置连接器并从一开始就重新流式传输整个存储桶，那实际上并不容易。据我所知，Kafka中没有内置的方法来重置连接器的偏移量——有一个与此相关的KIP正在审查中：KIP-199除非得到官方支持，否则我所知道的重置连接器状态的最佳方法是要么更改配置以使用不同的主题来保存偏移量，这很麻烦，并将旧偏移量作为潜在问题，要么按照此处所述实际编辑保存的偏移量。我永远不会主张在生产系统上做任何一个，所以请使用您自己的判断。