当前位置: 首页 > 知识库问答 >
问题:

Kafka连接模式背后的推理是什么?

毕宇
2023-03-14

供参考:我问这个是因为我们与Avro工会有一些问题。它们到Kafka Connect模式的映射仍然存在一些问题,例如https://github.com/confluentinc/schema-registry/commit/31648F0D34B10C1B36E8EC6F4C1236Ed3FE86495#diff-0A8D4F17F8D4A68F2F2D2DCD9211DF84

共有1个答案

谢清野
2023-03-14

Kafka Connect定义了它自己的模式结构,因为该框架将连接器与关于消息如何在Kafka中序列化的任何知识隔离开来。这使得可以将任何连接器与任何转换器一起使用。如果没有这种分离,连接器将期望消息以特定的形式序列化,从而使它们更难重用。

如果知道所有消息都是用特定的Avro架构序列化的,则始终可以将接收器连接器配置为对键和值使用ByteArrayConverter,然后连接器就可以以序列化的形式处理消息。

但是,请注意,如果使用Confluents Avro序列化器(或源连接器中的Avro转换器)序列化消息,则键和值的二进制形式将包括前导字节中的魔术字节和Avro模式标识符。字节数组的其余内容将是Avro序列化形式。

 类似资料:
  • 问题内容: 接口隔离原理(ISP)说,许多客户端特定的接口比一个通用接口好。为什么这很重要? 问题答案: ISP指出: 不应强迫客户依赖他们不使用的方法。 ISP与重要特性- 内聚和耦合有关。 理想情况下,您的组件必须高度定制。它提高了代码的健壮性和可维护性。 实施ISP可为您带来以下好处: 高内聚性 -更好的易懂性,鲁棒性 低耦合 -更好的可维护性,高抗变化性 如果您想了解有关软件设计原理的更多

  • 我正在开发debezium mongodb源连接器。我可以通过提供kafka引导服务器地址作为远程机器(部署在Kubernetes中)和远程MongoDB URL在分布式模式下在本地机器中运行连接器吗? 我尝试了这一点,我看到连接器成功启动,没有错误,只有几个警告,但没有数据从MongoDB流动。 使用以下命令运行连接器 遵循以下教程:https://medium.com/tech-that-wo

  • 我在分布式模式下运行Kafka连接,有两个不同的连接器,每个连接器都有一个任务。每个连接器都在不同的实例中运行,这正是我想要的。 Kafka connect集群是否总是确保相同的行为来适当地分担负载?

  • 我们在Kafka中只启用了ssl加密。客户端身份验证已关闭。 我们有一个spring boot应用程序连接到它。现在,

  • 我正在使用合流kafka connect jdbc源将mysql表中的记录推送到我的kafka主题,但似乎日期列被转换为纪元时间。 这是我的配置: kafka主题中的输出: 我也在类似于“select from_unixtime(updated _ on)from temp”的查询中尝试了from _ unixtime(),但是那不行。 有没有办法推到YYYY-MM-DD HH:MM:SS格式的K

  • 这个问题似乎不是关于特定的编程问题、软件算法或主要由程序员使用的软件工具。如果您认为这个问题在另一个Stack Exchange网站上是主题,您可以留下评论来解释这个问题在哪里可以得到回答。 我们构建了一个定制的Kafka Connect sink,它反过来调用一个远程REST API。我如何将背压传播到Kafka Connect基础设施,以便在远程系统比内部使用者向put()传递消息慢的情况下,

  • 我最近开始使用iOS应用程序。我可以看到,UIKit提供的许多现成的对象都使用了委托模式。例如,UITableView有一个datasource和一个委托,用于提供数据和其他表视图功能。 那么,这个委托模式、策略设计模式背后的底层设计模式是什么?对我有利的原因是,在策略模式中,委托对象具有对委托的引用,该引用确认了特定的接口。 比方说,我有一个类MyDataSource,它符合协议/接口UITab

  • 我正在检查EF6代码。我遇到了IEntityWrapper接口,BaseEntityWrapper类和EntityWrapper。 这里实现的设计模式是什么? https://github.com/aspnet/EntityFramework6/blob/master/src/EntityFramework/Core/Objects/Internal/IEntityWrapper.cs https