Kafka：主题与分区数据

Question

通过Kafka文档和各种其他资源，我了解到Kafka中的消息被组织成主题。此外，主题可以分解为多个分区，每个分区可以托管在不同的服务器上。这提供了冗余和可伸缩性。

我不确定这里的“破碎”这个词是什么意思。这是否意味着，如果添加到主题的消息是，例如“1 2 3 4 5 6 7”，那么在将其分解为分区后，我们将有一个分区仅包含整个主题的子部分。就像一个分区有“1 2 3”，而另一个分区有“4 5 6”，另一个分区只有“7”。或者，这是否意味着每个分区都有“1 2 3 4 5 6 7”，这意味着我们有完全相同的副本。

Answer 1

一个主题可以分解成多个分区，每个分区可以驻留在不同的服务器上。这提供了冗余和可伸缩性

以上语句是指 -Kafka 主题通常分为分区数。分区允许通过跨不同代理拆分数据来解析主题。如果主题仅包含一个分区，那么数据将驻留在单个代理上，并将按顺序读取。如果假设分区数为 3，则相同的数据将被拆分为 3 个分区，每个分区承载不同的事件集。您可以在 3 个并行进程中读取该主题，每个进程从一个分区读取。您拥有的分区数越多，您可以实现的可伸缩性就越高。是的，每个分区将只有数据子集。