添加新分区时的Kafka消息订购保证

Question

我正在评估用作事件总线的不同流媒体/消息服务。我正在考虑的一个方面是每项服务提供的订购保证。我正在探索的两个选项是AWS Kinesis和Kafka，从较高的层次来看，它们似乎都提供了类似的订购保证，其中记录保证以仅在该碎片/分区中发布的相同顺序使用。

AWS Kinesis API似乎公开了父分片的id，因此使用KCL的消费者组可以确保具有相同分区键的记录可以按照发布顺序（假设是单线程发布者）被消费，即使分片正在被拆分和合并。

我的问题是，Kafka是否提供了类似的功能，以便即使在发布消息时添加了分区，也可以按顺序使用使用特定键发布的记录？从我的阅读中，我对分区选择的理解（如果您使用记录指定键）表现为哈希（key）%partition\u COUNT。因此，如果添加了额外的分区，它们将在其中发布具有特定密钥的所有消息的分区可能会发生变化（我已经证明它在本地也会发生变化）。同时，组协调员/组长将在从该主题接收记录的消费者组中的消费者之间重新分配分区所有权。但是，重新分配后，将在两个不同的分区中找到具有相同密钥的记录（可能是未使用的记录）。因此，从使用者组级别来看，是否无法确保现在在不同分区中找到的具有相同密钥的未使用记录将按照发布顺序使用？

我对这两项服务都没有什么经验，所以我的理解可能有缺陷。任何建议都将不胜感激！

Answer 1

我的理解是正确的（经@OneCricketeer和文档证实）。以下是文档的相关部分：

虽然可以随着时间的推移增加分区的数量，但如果消息是用密钥生成的，则必须小心。在发布键控消息时，Kafka会根据密钥的哈希确定地将消息映射到分区。这保证了具有相同密钥的消息总是路由到相同的分区。这种保证对于某些应用程序很重要，因为分区内的消息总是按顺序传递给使用者。如果分区的数量发生变化，则这种保证可能不再有效。为了避免这种情况，通常的做法是稍微过度分区。基本上，您可以根据未来的目标吞吐量（例如一年或两年后）来确定分区的数量。最初，您可以基于当前吞吐量创建一个小型Kafka集群。随着时间的推移，您可以向集群添加更多代理，并按比例将现有分区的子集移动到新代理（可以在线完成）。这样，您就可以跟上吞吐量的增长，而不会在使用键时破坏应用程序中的语义。