有没有办法在Kafka流中重新划分输入主题？

Question

我有一个由byte[]键控的主题，我想对它进行重新分区，并通过消息正文中字段中的另一个键来处理该主题。

我发现有< code>KGroupedStream和< code>groupby函数。但是它需要一个聚合函数来转换成KTable/KStream。我不需要总数。我只想重新划分和处理输出。

Answer 1

KStream接口上有一个方法repartition（），它允许您基于Serdes和StreamPartitioner对主题进行重新分区，而不是映射/selectingKey（）加上应用through或repartition。

Answer 2

匿名用户

（Kafka Streams 2.5.x 或更早版本）

不确定这是否完全正确，但它是有效的，并且重新分区主题是自动创建的，并带有< code>stream的正确分区数。

KTable emptyTable = someTable.filter((k, v) -> false);
KStream stream = ...
KStream repartionedStream = stream.selectKey(...)
                            .leftJoin(emptyTable, (v, Null) -> v, ...);

编辑

在2020年8月，当Kafka Streams 2.6.0推出并KStream.重新分区（）出现时，这种方法显然变成了一种复杂的可憎之物，值得大量的反对票和鞭笞。

因此，对于流媒体版本2.6.x，您必须使用

KStream stream = ...
KStream repartionedStream = stream.selectKey(...)
                                  .repartition();

Answer 3

是的，你可以。您设置了一个新的关键字，然后通过另一个主题传输数据。

// repartition() will create the required topic automatically for your,
// with the same number of partitions as your input topic;
//
// it's also possible to set the number of partitions explicitly to scale in/out
// via `repartitioned(Repartitioned.numberOfPartitions(...))`
KStream stream = ...
KStream repartionedStream = stream.selectKey(...)
                                  .repartition();

// older versions:
//
// using `through()` you need to create the use topic manually,
// before you start your application
KStream stream = ...
KStream repartionedStream = stream.selectKey(...)
                                  .through("topic-name");

请注意，在使用所需数量的分区启动应用程序之前，您需要通过（）创建在中使用的主题。