kafka主题中理想的分区数是多少？

Question

我正在学习Kafka，并试图为我最近的搜索应用程序创建一个主题。被推送到Kafka主题的数据被认为是一个很高的数字。

我的kafka集群有3个代理，并且已经为其他要求创建了主题。

现在，我应该为最近的搜索主题选择多少个分区？如果我没有明确提供分区号呢？选择分区号时需要考虑哪些事项？

Answer 1

在决定是否分区之前，我会考虑评估两件主要的事情。

>

第一点是，一个消费群体的分区和消费者如何共同行动。简单地说，一个使用者可以使用来自多个分区的消息，但一个分区不能被多个使用者使用。这意味着，没有分区是有意义的

第二点是，从延迟和整个角度来看，您的需求是什么。简单地说，延迟是执行某些操作或产生某些结果所需的时间。延迟是以时间为单位来衡量的——小时、分钟、秒、纳秒或时钟周期。吞吐量是每单位时间内执行的此类操作或产生的结果的数量

现在，回到kafka立场的比较，一般来说，Kafka集群中的更多分区会导致更高的吞吐量。但是，如果您真的在寻找低延迟，您应该小心这个数字。

Answer 2

这将取决于消费者的吞吐量。如果您每秒产生100条消息，并且您的消费者每秒可以处理10条消息，那么您将需要至少10个分区（产生/消费）和10个消费者实例。如果您希望此主题能够处理未来的增长，那么您将希望将分区计数增加得更高，以便您可以添加更多消费者实例来处理新卷。

另一条建议是将分区计数设为一个高度可整除的数字，以便可以在保持负载平衡的同时放大/缩小使用者。例如，如果选择10个分区，则必须有1个、2个、5个或10个使用者实例，以使每个处理来自相同数量的分区。如果选择12个分区，则可以使用1、2、3、4、6或12个消费者实例来平衡。