删除列时的Kafka连接架构演变
假设我们有一个如下的设置。
JDBC源连接器从DB中轮询数据，写入Kafka主题。HDFS接收器连接器从Kafka主题中读取消息，并以Avro格式写入HDFS。
按照我理解的流程。
-
null
共有1个答案
注册表仅在注册新架构时进行验证。
因此，如果/当源连接器检测到更改，则在注册表端进行验证
对于HDFS连接器，有一个单独的Schema.Compatibility属性，它对内存中保存的记录和任何新记录应用投影。当您获得一个带有新模式的记录，并且有一个向后兼容的更新时，当Avro容器文件被写入时，所有尚未刷新的消息都将被更新以保存新的模式。
-
我开始对kafka绝望了。对于一个私人项目，一家公司向我发送了一个kafka流。经过长时间的尝试，我终于设法连接到引导服务器并接收到第一条消息。但没有反序列化。目前数据格式如下：4868fa8 该公司以avro格式发送密钥和值，我也获得了几个模式URL。但是我不能正确地使用它们，这样我就能得到可读的数据。不管我怎么输入，它总是出错。只有当我在没有任何模式的情况下进行检索时，我才能得到如上所述的消息
-
我知道如何删除Kafka连接器，如此处所述 Kafka Connect - 如何删除连接器 但我不确定它是否也删除/擦除特定的连接器相关的配置，偏移量和状态从*。sorage.topic该工作者？ 例如:假设我删除了一个连接器名为“connector-abc-1.0.0”的连接器，Kafka connect worker以下面的配置启动。 现在，在该连接器的DELETE调用之后，它是否会删除该特定
-
我正在尝试使用kafka-avro-convore-生产者发布一条具有键（带有模式）和值（带有模式）的消息。kafka环境（kafka的conFluent 6.2.0版本、连接、zoomaster、模式注册表）都正确启动，我可以确认我的连接器已安装。问题是当我发送消息时，我的Sink连接器失败并出现我无法诊断的错误。 感谢您的帮助： 我生成一条AVRO消息，如下所示： 并在连接日志中接收以下错误：
-
分布式服务已成功启动：[2021 10月17日18:04:29693]信息已启动o.e.j.s.ServletContextHandler@1422ac7f{/，null，AVAILABLE}（org.eclipse.jetty.server.handler.ContextHandler:916）[2021 10月17日18:04:29693]初始化信息REST资源；服务器已启动并准备好处理请求（
-
我有一个安装了多个连接器的分布式Kafka Connect (6.x)集群。键和值转换器设置为< code > org . Apache . Kafka . connect . JSON . JSON converter 。对于其中一个连接器(S3接收器)，我需要使用没有模式的事件，因此在集群配置中将schemas.enable属性设置为False:< code > key . converter
-
我正在使用jsPlumb创建一个包含两列的匹配小部件。 jsPlumb实例创建为： 我创建了源和目标，如下所示： 连接过程正常工作。但是在建立一个连接后的问题如果我删除连接，连接endpoint仍然可见。 我尝试添加配置“\u deleteondetch”，还尝试删除connectiondeach上的endpoint。在这两种情况下，endpoint都被删除，但在我尝试连接相同的元素时，它会出错。