检索id 1的Avro架构时出错，未找到主题。；错误代码：40401

Question

Caused by: org.apache.kafka.common.errors.SerializationException: Error retrieving Avro schema for id 1
Caused by: io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException: Subject not found.; error code: 40401

汇合版本4.1.0

我使用KTable从几个主题（topic_1，topic _2）中获取数据，连接数据，然后使用KStream将数据推送到另一个主题（totic_out）。（Ktable.toStream（））

数据采用avro格式

当我使用

curl -X GET http://localhost:8081/subjects/ 

我发现

topic_1-value
topic_1-key
topic_2-value
topic_2-key
topic_out-value

但是没有主题与topic_out键。为什么不创建它？

topic_out的输出：

kafka-avro-console-consumer --bootstrap-server localhost:9092 --from-beginning --property print.key=true --topic topic_out

"code1  "   {"code":{"string":"code1  "},"personid":{"string":"=NA="},"agentoffice":{"string":"lic1        "},"status":{"string":"a"},"sourcesystem":{"string":"ILS"},"lastupdate":{"long":1527240990138}}

我可以看到密钥正在生成，但没有密钥的主题。

为什么需要带密钥的主题？< br >我将此主题提供给另一个连接器(hdfs-sink ),以将数据推送到hdfs，但它失败了，并显示以下错误

Caused by: org.apache.kafka.common.errors.SerializationException: Error retrieving Avro schema for id 5\nCaused by: io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException: Subject not found.; error code: 40401

当我查看schema-registry.logs时，我可以看到:

[2018-05-24 15:40:06,230] INFO 127.0.0.1 - - 
[24/May/2018:15:40:06 +0530] "POST /subjects/topic_out-key?deleted=true HTTP/1.1" 404 51  9 (io.confluent.rest-utils.requests:77)

知道为什么主题topic_out-key没有被创建吗？

Answer 1

知道为什么主题topic_out-key没有被创建吗

因为Kafka Streams输出的键是字符串，而不是Avro编码的字符串。

您可以使用Kafka控制台消费者并添加——属性打印来验证这一点。value=false，并且在打印值时，与同一命令相比，没有看到任何特殊字符（这显示数据为二进制Avro）

从 Kafka Connect 开始，您必须将 Kafka 的 StringConverter 类用于 key.converter 属性，而不是 Confluent Avro 类。