如何平衡Kafka领导层？

Question

我的Kafka版本是kafka_2.9.2-0.8.1.1。集群中有两个代理，4个主题，每个主题有4个分区。

当我跑的时候

shKafka主题。sh——描述——动物园管理员rhost:2181

对于所有主题/分区，我认为Broker1是领导者。

如何平衡领导的负载？

例如，对于主题1和主题2，代理1作为领导者，而对于主题3和主题4，代理2作为领导者。

Answer 1

我知道这有点晚了，也许你已经找到了答案，但是为了平衡领导者，首先你需要让所有分区中的代理都同等优先，对于一个代理来说是“首选领导者”，它有两个标准，第一，它需要同步副本，第二，它必须是副本列表中的第一个元素。因此，如果您有足够少的主题/分区，您可以手动执行，这将更容易，否则您需要在所有代理之间分配第一个元素（首选副本）来重新分配分区，然后启动首选领导人选举工具，该工具将确保首选领导人实际上就是领导人。

Answer 2

您可以使用首选副本领导者选举工具：

shkafka-preferred-replica-election.shzklist

这保证了集群中代理的领导负载均衡。

Answer 3

分区应该自动重新平衡，因为代理配置参数auto.leader.rebalance.enable的默认值是true。

但是，默认情况下，此重新平衡每5分钟发生一次，由领导定义。不平衡检查间隔秒参数。如果希望更频繁地发生这种情况，则必须修改此参数。