我可以使用confluent Schema Registry从平面文件生成无模式的avro MSG吗？

Question

我想知道我是否可以使用Confluent Schema registry来生成（然后将其发送给kafka）无模式的avro记录？如果是，请有人分享一些资源？我在Confluent网站和Google上找不到任何例子。

我有一个简单分隔的文件，我有一个单独的模式，目前我正在使用Avro通用记录模式来序列化Avro记录并通过Kafka发送它。这样，模式仍然附加了记录，这使得它更笨重。我的逻辑是，如果在从Kafka发送记录时删除模式，我将能够获得更高的吞吐量。

Answer 1

您可以在cmd的以下命令的帮助下首次注册您的avro模式

curl -X POST -i -H "Content-Type: application/vnd.schemaregistry.v1+json" \
        --data '{"schema": "{\"type\": \"string\"}"}' \
        http://localhost:8081/subjects/topic

您可以使用以下命令查看主题的所有版本

curl -X GET -i http://localhost:8081/subjects/topic/versions

要从ConFluent Schema注册表中存在的所有版本中查看版本1的完整Acro架构，请使用下面的命令，将以json格式显示架构

  curl -X GET -i http://localhost:8081/subjects/topica/versions/1

Avro模式注册是Kafka生产者的任务

在confluent schema registry中拥有模式后，您只需要将avro通用记录发布到特定的Kafka主题，在我们的示例中，它是“主题”

Kafka使用者：使用以下代码获取特定Kafka主题的最新模式

val schemaReg = new CachedSchemaRegistryClient(kafkaAvroSchemaRegistryUrl, 100)
val schemaMeta = schemaReg.getLatestSchemaMetadata(kafkaTopic + "-value")
val schema = schemaMeta.getSchema
val schema =new Schema.Parser().parse(schema)

以上将用于获取模式，然后我们可以使用confluent来解码来自Kafka主题的记录。

Answer 2

合流模式注册表将发送序列化的Avro消息，消息中不包含整个Avro模式。我认为这就是您所说的“无模式”消息的含义。

合流模式注册表将存储Avro模式，并且只有一个简短的索引id包含在有线消息中。

此处提供了完整的文档，包括测试融合模式注册表的快速入门指南

http://docs.confluent.io/current/schema-registry/docs/index.html