Kafka分区订购担保

Question

我确实意识到Kafka中保证了每个分区的顺序。但是当有多个分区并且生产者没有指定键，而只有1个消费者时，分区会受到什么影响（为什么有1个消费者？对于当前数据加载1很好，有多个分区供将来使用）

20 partitions
1 consumer
No key specified when producing.

1） 订购是否会受到影响？

2） 使用者是否会从分区0,1读取数据。。20一个接一个按顺序？

3） 即使我们指定了分区键，我们是否可以保证我们会进行适当的排序？（哈希冲突的情况除外）

Answer 1

如果未在生产者端定义密钥，kafka每次将在每个分区中生成一条消息。以循环方式生成数据[此处编码]。

例如，如果您有2个分区：

msg_1 -> partition: 0
msg_2 -> partition: 1
msg_3 -> partition: 0
msg_4 -> partition: 1

这样做的问题是您无法确保另一侧的排序，因为每个分区消耗的消息可以在不同的时间内消耗。想象一下，您在分区0偏移量1中有一条消息，而第二条消息在分区1偏移量1中。Kafka消费者可以在进入分区0之前开始从分区1消费消息。

为了避免此问题，您应该始终对需要订单的消息使用相同的键。现在解决此问题的唯一方法是创建状态存储，并在每次需要阅读时检查文档的状态。

如果您设置了密钥，您将始终将密钥发送到同一分区，唯一的方法是在生产者端获得不同的顺序，但这将是一个竞争条件。只有当两个生产者同时生产同一个密钥时，才会出现订单中断的情况。你可以在这里检查逻辑。