Kafka Connect：如何使用HDFS接收器连接器将protobuf数据从Kafka主题发送到HDFS？

Question

我有一个生产者，它正在为一个主题生成protobuf消息。我有一个消费者应用程序，它反序列化protobuf消息。但hdfs接收器连接器直接从Kafka主题接收消息。etc/schema-registry/connect-avro-standalone.properties中的键和值转换器将设置为什么？做这件事最好的方法是什么？提前道谢！

Answer 1

Kafka Connect的设计目的是将Kafka中串行化格式的关注与具有转换器概念的单个连接器分开。您似乎已经发现，需要将key.converter和value.converter类调整为支持protobuf的实现。这些类通常作为一个普通的Kafka反序列化程序实现，然后执行一个步骤，该步骤执行从特定于序列化的运行时格式（例如，protobufs中的消息）到Kafka Connect的运行时API（它没有任何关联的序列化格式--它只是一组Java类型和一个定义模式的类）的转换。

我不知道现有的实现。实现这一点的主要挑战是，protobufs是自描述的（即，您可以在不访问原始模式的情况下反序列化它），但是由于它的字段只是整数ID，如果不a）要求特定的模式对转换器可用，例如通过config（这使得迁移模式更加复杂），或者b）数据的模式注册服务+包装器格式，允许您动态查找模式，您可能就无法获得有用的模式信息。