分区0的偏移量非常接近于其余分区的偏移量之和

Question

我有一个由5个分区组成的主题如下：

p[0] offset: 492453047
p[1] offset: 122642552
p[2] offset: 122641146
p[3] offset: 122636144
p[4] offset: 122638175

似乎分区的偏移量非常接近其余分区的偏移量之和。我不知道如何以及为什么。

Answer 1

制片人

生产者直接将数据发送给作为分区领导者的代理，而不需要任何中间路由层。为了帮助制作者做到这一点，所有Kafka节点都可以回答元数据请求，这些元数据涉及哪些服务器处于活动状态以及主题分区的引线在任何给定时间的何处，以允许制作者适当地引导其请求。

客户端控制将消息发布到哪个分区。这可以随机完成，实现一种随机负载平衡，也可以通过一些语义分区功能完成。我们公开了语义分区的接口，允许用户指定要进行分区的键，并使用该键对分区进行散列（如果需要，还可以选择重写分区函数）。例如，如果选择的键是用户id，那么给定用户的所有数据都将发送到同一分区。这反过来又将允许消费者对其消费进行地区性假设。这种类型的分区被明确设计为允许使用者进行对位置敏感的处理。

Answer 2

对于Kafka，制作人负责为每个记录分配一个分区。

这可以使用partitioner.class设置进行配置。如果您没有更改它，那么默认分区程序的工作原理如下：

• 如果在记录中指定了分区，请使用它
• 如果未指定分区，但存在密钥，请根据密钥哈希选择分区
• 如果没有分区或密钥，请以循环方式选择分区

所以看起来您的密钥不是均匀分布的。要么您有几个不同的键，要么有更多具有特定键的记录。键通常用于确保将具有相同键的记录发送到相同的分区（从而保持有序）。

对分区有一点倾斜并不一定是坏的，这主要取决于您的用例。如果您认为可以更好地对数据进行分区，那么可以实现自己的分区器。