Kafka流处理器-状态存储和输入主题分区

Question

null

谢谢你的澄清。

Answer 1

您必须区分输入分区和存储碎片/Changelog主题分区以获得完整的图片。另外，这取决于您是使用DSL还是处理器API，因为DSL会自动重新分区，而处理器API不会。因为DSL向下编译到处理器API，所以我将从这个开始。

如果您有一个带有4个分区的主题，并且您创建了一个使用该主题的有状态处理器，那么您将得到4个任务，每个任务运行一个维护存储区一个碎片的处理器实例。注意，整个状态被分成4个碎片，每个碎片基本上与其他碎片隔离开来。

从处理器API运行时的角度来看，输入主题分区和状态存储碎片（包括它们对应的changelog主题分区）是并行的一个单元。因此，使用4个分区创建存储区的changelog主题，changelog-topic-partition-X映射到input-topic-partition-x。注意，Kafka Streams在写入changelog主题时不使用基于哈希的分区，而是显式地提供分区号，以确保处理input-topic-partition-X的“处理器实例x”只从changelog-topic-partition-x读/写到changelog-topic-partition-x。

如果输入主题没有按键分区，则具有相同键的消息将由不同的任务处理。根据程序的不同，这可能是可以的（例如过滤），也可能不是（例如每个键的计数）。

类似于state：您可以将任何键放入状态存储，但该键对相应的碎片是“本地的”。其他任务，永远不会看到这个关键。因此，如果在存储区中对不同任务使用相同的键，它们将完全相互独立（就像它们是两个键一样）。

使用处理器API，根据所需的操作符语义，您有责任正确地划分输入数据并正确地使用存储区。