如何通过不同的合流注册表源忽略Avro模式？
org.apache.kafka.common.errors.SerializationException: Error deserializing key/value for partition XXXXX_XXXX_XXX-0 at offset 0. If needed, please seek past the record to continue consumption.
Caused by: org.apache.kafka.common.errors.SerializationException: Error deserializing Avro message for id 7
Caused by: org.apache.kafka.common.errors.SerializationException: Could not find class XXXXX_XXXX_XXX specified in writer's schema whilst finding reader's schema for a SpecificRecord.
{
"type": "record",
"name": "XXXXX_XXXX_XXX",
"namespace": "aa.bb.cc.dd",
"fields": [
{
"name": "ACTION",
"type": [
"null",
"string"
],
"default":null,
"doc":"action"
},
{
"name": "EMAIL",
"type": [
"null",
"string"
],
"default":null,
"doc":"email address"
}
]
}
生产命令
{"Action": "A", "EMAIL": "xxxx@xxx.com"}
共有1个答案
在生产者中使用不同的注册表URL并能够一致地使用它们是不可能的。
原因是将在主题中放置一个不同的ID。
无法跳过架构ID查找
-
我正在了解Confluent的模式注册表，以满足所有模式管理需求。 我不太理解他们的版本控制方法...有一个的概念，我将其视为一个名称空间。据我所知，subject在模式注册表中必须是唯一。 然后是模式id，或者只是，它也是唯一的。 最后，还有一个。 以下是文档中的片段： :此主题的架构版本，每个主题从1开始 :全局唯一的架构版本id，在所有主题中的所有架构中都是唯一的 因此，一旦我想修改特定主题
-
如何使用Spring Kafka通过合流模式注册表读取AVRO消息？有样品吗？我在官方参考文件中找不到它。
-
我正在尝试设置一个Beam管道，以便使用python API读取Kafka的内容。我能够设置消费者配置和主题。如何更新管道以使用合流模式注册表并定义Avro消息值反序列化器？
-
我正在尝试使用Confluent schema registry，下面是我在Github中找到的一些示例(https://github.com/gAmUssA/springboot-kafka-avro). 当消费者和生产者与模型共享相同的命名空间而不是其工作时。 当使用者位于具有不同名称空间但具有相同类（名称和属性方面）的不同项目中时，它不工作。 合流Avro反序列化程序可以使用正确的值反序列化
-
我一直在尝试将avro通用记录进行串行化，并生成avro串行化的数据发送给Kafka。主要目标是不使用合并模式注册表存储模式，而是将模式与序列化数据一起发送，以便从kafka主题中提取并反序列化。 下面是AvroSerializer用于生成Avro数据的部分。 Kafka中出现的序列化数据如下所示。
-
我使用schema registry为所有带有Kafka Streams的应用程序创建模式注册表。我们的一个流进行聚合，我想对聚合对象使用schema registry，如下所示： 但在向schema注册表添加schema时，我们需要按主题名定义schema。在流上聚合的情况下，这是不可能的，因为主题名称是由流拓扑生成的。 问题是是否有某种方法可以为任何主题创建模式，以便任何流或任何其他解决方案都