主题、分区和键

Question

Kafka只提供一个分区内消息的总顺序，而不提供主题中不同分区之间的消息的总顺序。每分区排序与按键对数据进行分区的能力相结合，对于大多数应用程序来说已经足够了。但是，如果您需要消息的总顺序，这可以通过只有一个分区的主题来实现，尽管这意味着每个使用者组只有一个使用者进程。

下面是我的问题：

>

这是否意味着如果我希望有多个消费者（来自同一组）阅读一个主题，我需要有多个分区？

1. 分区是如何编号的？从0开始还是从1开始？
2. 密钥和分区之间到底有什么关系？据我所知，键上某些函数将决定一个分区。是这样吗？
3. 如果我在一个主题中有两个分区，并且希望某些特定消息到一个分区，而其他消息到另一个分区，我应该对一个特定分区使用特定键，其余的用于另一个分区？
4. 如果我有3个分区，将一种类型的消息发送到一个特定分区，而将其余的消息发送到其他2个分区，该怎么办？
5. 通常情况下，我如何将消息发送到特定分区，以便了解使用者从何处读取？或者我最好有多个主题？

提前道谢。

Answer 1

伊戈尔,

分区增加了Kafaka主题的并行性。任何数量的消费者/生产者都可以使用同一个分区。由应用层来定义协议。Kafaka保证交货。关于API，您可能希望查看Java文档，因为它们可能更完整。根据我的经验：

1. 分区从0开始
2. 键可用于向同一分区发送消息。例如，哈希(key)%num_partition。该逻辑可插入生产者。https://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/producer/partitioner.html
3. 是的。但是要注意，不要使用某些会导致“专用”分区的键结束。为此，您可能希望有专门的主题。例如，控件主题和数据主题
4. 这似乎是与3相同的问题。
5. 我认为消费者不应该基于分区对数据进行假设。典型的方法是拥有可以从主题的多个分区读取的消费者组。如果希望有专用频道，最好使用单独的主题（更安全/可维护）。