Kafka、Avro和图式注册表

Question

我有一个Kafka消费者配置了主题中的模式轮询，我想做的是在当前模式的基础上创建另一个Avro模式，并使用它水合数据，基本上我不需要50%的信息，需要编写一些逻辑来更改几个字段。这只是一个例子

    val consumer: KafkaConsumer<String, GenericRecord>(props) = createConsumer()
    while (true) {
        consumer.poll(Duration.ofSeconds(10).forEach {it ->
            println(it.value())
        }
    }

从stream返回的事件相当复杂，所以我将一个较小的CustomObj建模为. avsc文件，并将其编译成java。当尝试使用CustomObj运行代码时，我想做的就是使用一个事件，然后将其反序列化为一个更小的对象，只包含选定的字段。

return KafkaConsumer<String, CustomObj>(props)

这不起作用，不确定如何使用GenericRecord中的CustomObj反序列化它？让我补充一下，我没有任何访问流或其配置的权限，只能从中使用。

Answer 1

在Avro中，读取器模式需要与写入器模式兼容。通过给出较小的对象，您提供了不同的阅读器模式

不可能直接反序列化为输入数据的子集，因此必须解析较大的对象并将其映射到较小的对象（这不是反序列化的作用）