如何从kafka中接收到的消息中获取Avro模式对象？

Question

我尝试向kafka发布/使用我的java对象。我使用Avro模式。

我的基本程序运行良好。在我的程序中，我在生产者（用于编码）和消费者（用于解码）中使用我的模式。

如果我在接收者处将不同的对象发布到不同的主题（例如：100个主题），我不知道我收到了什么类型的消息？...我想从接收到的字节中获取avro模式，并想将其用于解码...我的理解正确吗？如果是这样，我如何从接收到的对象中检索？

Answer 1

您不会在收到的字节中收到Avro模式，而且您也不想这样做。Avro的整个想法是将模式与记录分离，使其成为一种更加紧凑的格式。按照我的方式，我有一个主题叫做模式。Kafka消费者流程要做的第一件事是从一开始就听这个主题，并解析所有模式。

Avro模式只是JSON字符串对象——您可以在Schema主题中为每条记录存储一个模式。

至于找出哪个模式与哪个主题相匹配，正如我在前面的回答中所说的，每个主题只需要一个模式，而不是更多。所以，当您解析来自特定主题的消息时，您确切地知道模式适用于什么，因为只有一个模式。

如果从不重复使用该模式，则可以将该模式命名为与主题相同的名称。然而，在实践中，您可能会在多个主题上使用相同的模式。在这种情况下，您希望有一个单独的主题，将架构映射到主题。您可以创建如下Avro模式：

{"name":"SchemaMapping", "type":"record", "fields":[
  {"name":"schemaName", "type":"string"},
  {"name":"topicName", "type":"string"}
]}

您可以使用Avro编码的映射将每个主题发布一条记录到一个特殊的主题中，例如称为“模式映射”（SchemaMapping），并且在从一开始就使用了模式主题之后，消费者将收听模式映射（SchemaMapping），之后它将确切地知道为每个主题应用哪个模式。