分区数量超过使用者时的Apache Kafka消息消耗

Question

如果我运行的Kafka集群的分区比我的单个消费者组拥有的消费者还多。对消息的排序或跨分区的消息的按时传递是否有任何保证？

简单示例:
2个分区，1个使用者
生产者通过一个密钥控制分区分配。
消息1进入并转到分区a
消息2进入并转到分区B
消息3进入并转到分区a

我知道消息1将在消息3之前被使用，因为它们在同一个分区中。但是第二条信息呢？是在消息3之前消费还是在消息3之后消费？还是会有变化？它可能在消息%1之前被使用吗？

此外，如果新消息持续进入分区A，并且生产速度快于消耗速度，怎么办？消息2会无限期地坐在分区B中吗？什么时候消费？有什么保证这些信息不会永远留在那里吗？

更一般地说：如果一个使用者被分配给多个分区，那么该使用者如何以及何时在这些分区之间交换？

Answer 1

Kafaka只在分区内提供订购保证。在您的示例中，消息2可能在消息1之前、消息1之后或消息3之后使用。那只取决于消费者的表现。有关这方面的更多信息，请参阅文档:https://kafka.apache.org/documentation.html#Introduction（“consumers”和“consurants”主题）。

Kafaka经纪人并不了解消费者。它将消息存储在日志段中，直到相应的日志段被删除。使用者可以随时附加到代理,并从最早的日志段开始使用。最小邮件保留时间由两个配置属性控制:log.retention.hours和log.retention.bytes（每个主题可能覆盖）。有关这方面的更多信息，请参见文档:https://kafka.apache.org/documentation.html#brokerconfigs。

回答您的问题：如果消费者最终变得比生产者慢，它有一些时间来赶上（默认为1周）。如果它没有，一些非消费的消息将被永远删除。

高级使用者创建几个kafkastream对象，每个对象提供来自一个或多个分区的数据。如何使用这些流取决于您：在单独的线程中，循环，等等。还可以获取消息的时间戳，并将这些流合并到一个恢复消息顺序的流中。