当前位置: 首页 > 知识库问答 >
问题:

当我们使用Kafka流时,Kafkaserde配置应该是什么

石喜
2023-03-14

我们使用JDBC源连接器将数据从表同步到Kafka中的主题(称为主题1)。正如我们所知,这只捕获插入和更新,我们添加了一个触发器来捕获删除。此触发器捕获删除的记录并写入一个新表,该表与另一个Kafka主题(称为主题2)同步。

我们已经将JDBC源连接器配置为使用AvroConverter。

现在,我们已经编写了一个Kafka streams逻辑,它使用本主题2中的数据并发布到主题1。我的问题是Kafka streams逻辑的序列化器和反序列化器配置应该是什么?使用KafkaAvroSerializer和KafkaAvroSerializer可以吗?

我正在浏览AvroConverter代码(https://github.com/confluentinc/schema-registry/blob/master/avro-converter/src/main/java/io/confluent/connect/avro/AvroConverter.java),看看是否能得到一些想法。我在Github代码中导航了很长一段时间。我无法断定使用KafkaAvoSerializer和KafkaAvroDeserializer是否是Kafka流逻辑中的右侧。有人能帮我吗?

共有1个答案

岑畅
2023-03-14

为什么JDBC连接器只捕获插入和更新?

编辑:我们使用 <罢工> 汇合JDBC源连接器 SQL Server Debezium连接器,即使在删除操作中也表现良好。请特别注意查询模式。

也许尝试切换到此连接器,您可能最终解决了一个问题,只有一个流包含所有相关事件。

 类似资料:
  • 从外观上看-似乎创建了一个对象的克隆。如果是这样,那么对于实现可克隆接口(只有不可变对象是新的,因为可变对象有引用复制)的关注,哪一个是最好的,为什么? 我昨天实现了克隆,然后意识到我必须为非字符串/首字母元素提供自己的修改。然后我被告知我现在正在使用的。这两个实现似乎都提供了类似的功能。 谢谢

  • 问题内容: 面试官问我: 什么是Observer,什么Observable时候应该使用它们? 我并不了解这些术语,因此当我回到家并开始使用GoogleObserver和Google搜索时Observable,从不同的资源中发现了一些要点: 1)Observable是一个类,Observer是一个接口。 2)Observable该类维护一个Observers的列表。 3)当一个Observable对

  • 问题内容: 我正在使用’multiprocess.Pool.imap_unordered’如下 我需要打电话或之后的for循环? 问题答案: 不,您没有,但是如果您不再使用游泳池,那可能是个好主意。 Tim Peters在此SO帖子中致电或致电的理由很明确: 至于Pool.close(),您应该在永远不会将更多工作提交给Pool实例的情况下(且仅在)进行调用。因此,通常在主程序的可并行化部分完成时

  • 我刚刚在使用及其方法时遇到了一个问题。虽然我知道如何使用它们,但我不太确定何时使用它们。 例如,我有一个列表,包含到不同位置的各种路径。现在,我想检查一个给定的路径是否包含列表中指定的任何路径。我想根据是否满足条件返回。 当然,这本身并不是一项艰巨的任务。但是我想知道我是应该使用流还是使用for(-each)循环。 列表 示例-流 示例For-Each循环 请注意,参数始终是小写的。 我的第一个猜

  • 问题内容: 通过它的外观- 似乎创建了一个对象的克隆。如果是这样的话,那么与实现Cloneable接口有关的担忧(只有不可变对象才是新对象,因为可变对象复制了引用)是最好的,为什么? 昨天我实现了cloneable,然后意识到我必须对非 String / Primative 元素提供自己的修改。然后,我被告知我正在使用哪个。两种实现似乎都提供了类似的功能。 谢谢 问题答案: Josh Bloch提

  • 问题内容: 我在ORM上还很新。我刚刚开始阅读有关使用Hibernate的Java Persistence API的书籍和文档。 我只是想知道,关闭EntityManagerFactory与jdbc数据库连接关闭类似吗? 我们是否应该在每次持久/更新/删除后关闭它?如果我们不关闭它,数据库连接会保持打开状态吗? 问题答案: 我只是想知道,关闭与jdbc数据库连接关闭类似吗? 这并非完全正确,但关闭