Kafka Connect：读取JSON序列化的Kafka消息，转换为Parket格式并保留在S3中

Question

我需要从Kafka主题中读取JSON序列化消息，将其转换为拼花，并在S3中持久化。

出身背景

官方S3接收器连接器支持拼花输出格式，但：

您必须为此连接器使用AvroConverter、Pro bufConverter或带有ParquetFormat的JsonSchemaConverter。尝试使用JsonConverter（带或不带模式）会导致NullPointerException和StackOverflow Exception。

如果消息不是使用JSON模式序列化编写的，则JsonSchemaConverter会抛出一个错误。

问题陈述

因此，我正在寻找一种方法来读取Kafka主题中最初以JSON格式编写的消息，以某种方式将其转换为JSON模式格式，然后将其插入S3连接器，该连接器将以拼花格式写入S3。

或者，考虑到主要需求，我也愿意使用其他解决方案（不涉及编写JAVA代码）（以Kafka消息为例，将其作为拼花文件放在S3中）。谢谢

PS：不幸的是，现在我无法选择更改这些Kafka消息最初的编写方式（例如使用JSON模式序列化和模式发现）。

Answer 1

一般来说，您的数据需要有一个模式，因为Parket需要它（S3 parket编写器翻译为Avro作为中间步骤）

您可以研究使用这种连接转换，该转换接受模式，并尝试应用JSON模式-请参阅测试。由于这将返回一个Struct对象，因此您可以尝试使用JsonSchemaConverter作为接收器的一部分。

但是，如果您只是将随机JSON数据抛入没有任何一致字段或值的单个主题，那么您将很难应用任何模式