如何设置Kafka Streams消息压缩？

Question

使用Kafka Streams，我们无法确定在处理写入接收器主题的消息后压缩这些消息所需的配置。

另一方面，使用经典的Kafka Producer，可以通过在KafkaProducer属性上设置配置“compression.type”轻松实现压缩

然而，似乎没有任何记录在案的Kafka Streams压缩处理过的消息的例子。

至于这次（2019年初），有没有一种方法可以使用Kafka流进行压缩？

Answer 1

您可以在StreamConfig中为内部使用的生产者指定参数，如下所示：

final Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG, "your-streams-app-id");
props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "lz4");

输出主题将使用LZ4算法进行压缩。

详情见https://docs.confluent.io/current/streams/developer-guide/config-streams.html#kafka-consumers-producer-and-admin-client-configuration-parameters。