Kafka流如何处理包含不完整数据的分区？

Question

Kafka Streams引擎将一个分区映射到一个工作者（即Java应用程序），以便该分区中的所有消息都由该工作者处理。我有下面的场景，并试图了解它是否仍然可行。

我有一个主题A（有3个分区）。发送到它的消息由Kafka随机分区（即没有密钥）。我发送给它的消息有一个如下的模式

{carModel: "Honda", color: "Red", timeStampEpoch: 14334343342}

因为我有3个分区，消息在它们之间随机分区，所以相同型号的汽车可以写入不同的分区。举个例子

P1
{carModel: "Honda", color: "Red", timeStampEpoch: 14334343342}
{carModel: "Honda", color: "Red", timeStampEpoch: 14334343342}
{carModel: "Toyota", color: "Blue", timeStampEpoch: 14334343342}

P2
{carModel: "Toyota", color: "Red", timeStampEpoch: 14334343342}
{carModel: "Honda", color: "Red", timeStampEpoch: 14334343342}
{carModel: "Nissan", color: "Blue", timeStampEpoch: 14334343342}

P3
{carModel: "Nissan", color: "Red", timeStampEpoch: 14334343342}
{carModel: "Honda", color: "Red", timeStampEpoch: 14334343342}
{carModel: "Nissan", color: "Blue", timeStampEpoch: 14334343342}

现在假设我想计算carModel看到的汽车总数。我写了一个Kafka Streams应用程序，用于监听主题A，通过carModel映射消息，即。

carStream.map((key, value) -> KeyValue.pair(value["carModel"], value))

并将总数写入另一个主题B，表单的消息

{carModel: "Nissan", totalCount: 5}

然后我启动了3个实例，它们都属于同一个消费者群体。然后，Kafka将有效地将每个分区映射到其中一个工作区。实例

P1 --> Worker A
P2 --> Worker B
P3 --> Worker C

但是，由于每个工作人员只看到一个分区，因此它只会看到每个车型的部分信息。它将丢失来自其他分区的同一车型的数据。

问题：我的理解正确吗？

如果是的话，我可以想象我可以通过carModel重新划分（即重新洗牌）我的数据，以使这个用例工作。

但我只是想确保我没有误解它是如何工作的，事实上，Kafka在我的应用程序中的内部映射之后神奇地处理了重新分区。

Answer 1

Kafka Streams将自动对数据进行重新分区。您的程序将类似于：

stream.map(...).groupByKey().count();

对于此模式，Kafka Streams检测到您在map中设置了一个新键，因此将在后台自动创建一个主题，以重新划分groupByKey（）的数据。count（）步骤（从v0.10.1开始，通过KAFKA-3561）。

注意，map（）标记需要重新分区的流，并且. group pByKey（）. count（）将创建重新分区的主题。在这方面，重新分区是“懒惰的”，即只有在需要时才进行。如果没有. group pByKey（）. count（），就不会引入重新分区。

基本上，上面的程序的执行方式与

stream.map(...).through("some-topic").groupByKey().count();

Kafka Streams通过（）步骤自动插入，从而计算正确的结果。

如果您使用的是Kafka Streams 0.10.0，则需要使用所需数量的分区手动创建重新分区主题，并且还需要通过（）将对的调用添加到代码中。