Kafka的溪流：把一个话题引入另一个话题

Question

我是新的Kafka流，我正在使用它使一个主题的确切拷贝到另一个不同的名称。本主题有几个分区，我的制作者正在使用自定义分区。输出主题是用输入主题相同数量的分区预先创建的。

在我的应用程序中，我做了（我正在使用Kotlin）：

val builder = StreamsBuilder()
builder
    .stream<Any, Any>(inputTopic)
    .to(outputTopic)

除了分区（当然，我使用的是自定义分区器）之外，这是可行的。有没有一种简单的方法可以使用输入记录的相同分区将输入记录复制到输出主题？

显然，我可以在接收器中使用自定义分区器，但这将意味着反序列化和序列化记录，以便使用自定义分区器重新计算输出分区。

Answer 1

produced（它是KStream::To参数之一）将StreamPartitioner作为其成员之一。

您可以尝试以下代码：

java prettyprint-override">builder.stream("input", Consumed.with(Serdes.ByteArray(), Serdes.ByteArray()))
  .to("output", Produced.with(Serdes.ByteArray(), Serdes.ByteArray(), (topicName, key, value, numberOfPartitions) -> calculatePartition(topicName, key, value, numberOfPartitions));

在上面的代码中，只使用bytearrayserdes，因此会发生任何特殊的序列化或反序列化。