我可以使用Kafka流读写不同类型的消息吗？

Question

我正在编写一个使用Kafka流的应用程序。它从主题A读取，进行一些转换，然后写入主题B。在转换期间，值按键分组，因此输出键、值类型不同于输入值类型。Kafka流使用特定类型的Serdes（例如String serdes序列化和反序列化字符串）进行序列化和反序列化，因此在数据转换后它将无法工作。如何在Streams API中定义不同的序列化器和反序列化器？

Answer 1

你当然可以

当您创建流、调用 groupBy 或将输出写入某个主题时，可以提供 Serde 或序列化。例：

Serde<String> stringSerde = Serdes.String();
Consumed<String, String> consumed = Consumed.with(stringSerde, stringSerde);
Produced<String, YourCustomItem> produced = Produced.with(stringSerde, new JsonSerde<>(YourCustomItem.class));

KStream<String, String> kStream = streamsBuilder.stream("sourceTopicName", consumed);
KStream<String, YourCustomItem> transformedKStream = kStream.mapValues((key, value) -> new YourCustomItem());
transformedKStream.to("destinationTopicName", produced);

transformedKStream.groupByKey(Serialized.with(Serdes.String(), new JsonSerde<>(YourCustomItem.class)));

其中JsonSerde来自spring kafkadependency。或者您可以使用以下Serde：

Serializer<JsonNode> jsonSerializer = new JsonSerializer();
Deserializer<JsonNode> jsonDeserializer = new JsonDeserializer();
Serde<JsonNode> jsonSerde = Serdes.serdeFrom(jsonSerializer, jsonDeserializer);