当前位置: 首页 > 知识库问答 >
问题:

Debezium SQL Server连接器Kafka初始快照

方昊
2023-03-14

根据Debezium SQL Server连接器文档,初始快照仅在连接器首次运行时激发。然而,如果我删除连接器并创建一个新的但具有相同的名称,初始快照也不能工作。这是故意的还是已知的问题?有什么需要帮忙的吗

共有1个答案

壤驷阳冰
2023-03-14

Kafka Connect存储连接器的详细信息,例如它们的快照状态和摄取进度,即使它们已经被删除。如果您用相同的名称重新创建它,它将假定它是同一个连接器,因此将尝试从前面连接器到达的地方继续。

如果您希望连接器从头开始(即运行快照等),那么您需要给连接器一个新名称。(从技术上讲,您也可以进入Kafka Connect,对内部数据进行处理,以删除同名连接器的数据,但这可能是个坏主意)

 类似资料:
  • 我正在使用MongoDB atlas和一个分片副本集集群,以及文档中描述的Debezium MongoDB连接器。 这是我当前配置的样子(运行独立设置): 我可以在Kafka主题中接收CDC事件,但文档中描述的初始快照从未制作过。我尝试了另一种导致创建和使用完全不同的主题集,但结果相同。 MongoDB oplog有大约200万行,kafka主题总共几乎没有几千条消息。 进一步挖掘时,连接器似乎记

  • 我使用的是和连接器jar版本为0.10.2,kafka版本为0.9.1,flink版本为1.0.0。 当我在IDE中作为独立的主程序运行Java消费者时,它工作得很好。但是当我从运行它时,我不会看到正在使用的消息,也不会看到中JobManager的stdout中的任何日志。请告诉我可能有什么问题。

  • 下面是/etc/kafka/connect-MongoDB-source.properties中的MongoDB配置 但是低于误差 以独立模式运行连接器。 我在debezium-debezium-连接器-mongob-1.0.0/debezium-connector-mongodb-1.0.0.Final.jar 类路径的设置如下 使用插件路径,我看到它能够注册和加载所有必需的插件。 但最后还是同

  • 我正在尝试将来自主题的数据(json数据)写入MySql数据库。我想我需要一个JDBC接收器连接器。 我如何配置连接器以将主题中的json数据映射到如何将数据插入数据库。 我能找到的文件只有这个。 “接收器连接器需要了解架构,因此您应该使用合适的转换器,例如架构注册表附带的Avro转换器,或启用了架构的JSON转换器。如果存在Kafka记录键,则可以是基元类型或连接结构,记录值必须是连接结构。从连

  • 我已经使用Kafka的汇流本地集群为Kaffa和m安装了Aerospike所需的所有配置,并已安装https://www.confluent.io/hub/aerospike/kafka-connect-aerospike-source并已开始汇流群集,但连接器仍未启动 我还发现合流的共享文件夹中没有jar,它还在开发中吗?

  • 我尝试使用最新的kafka (confluent-platform-2.11)连接将Json放到s3上。我在quickstart-s3.properties文件中设置format . class = io . confluent . connect . S3 . format . JSON . JSON format 和负载连接器: 然后我给Kafka发了一行: ~$ Kafka-控制台-生产者