如何在Kafka中维护信息的有序性？

Question

我在想，如果我们能以某种方式确保特定的生产者（具有特定的键值属性）在主题t1的特定分区p1中发布其消息，如果我们能确保消费者从相同的分区p1中获取消息。这将有助于我们的目的。

在kafka-console-producer.sh帮助中，我看到如下内容：

--producer-property <producer_prop>      A mechanism to pass user-defined
                                           properties in the form key=value to
                                           the producer.
--producer.config <config file>          Producer config properties file. Note
                                           that [producer-property] takes
                                           precedence over this config.
--property <prop>                        A mechanism to pass user-defined
                                           properties in the form key=value to
                                           the message reader. This allows
                                           custom configuration for a user-
                                           defined message reader.

我们可以使用这个--property选项来控制生成器将写入的分区吗？

同样在高层消费者中，我们能控制它从哪个分区消费吗？如何将分区分配给使用者？

Answer 1

Kafka只提供一个分区内消息的总顺序，而不提供主题中不同分区之间的消息的总顺序。

如果你有一个单分区的主题，那么排序是有保证的。如果你的消费者表现良好，你就不必担心。

假设您至少有Kafka0.9，每个使用者在代理注册时都分配了一个分区。如果您有一个带有两个分区和两个使用者的主题，那么每个主题将分配一个分区。此信息存储在ConsumerPartitionOwnershipInfo中，有关详细信息，请参阅设计文档。主题中的每个分区都被分配给使用者组中的一个成员。