Kafka流localstore分区分配不平衡

Question

首先，很抱歉，如果我的术语不准确，我对Kafka很陌生，我已经尽可能多地读过了。我们有一个使用kafkastreams的服务，kafka版本:2.3.1。流应用程序具有一个流拓扑，该流拓扑从“topica”读取，执行转换并发布到另一个主题“topicb”，然后由拓扑的另一个流消费，并使用Ktable（localstore）聚合它。侦听器将ktable更改发布到另一个主题中。

主题有24个分区。我们在不同的机器上有两个该服务的实例，每个实例有4个流线程。问题是，使用本地存储的分区都分配给了同一个实例。因此磁盘使用、重新平衡、性能都很糟糕。

同样让我意想不到的是，如果我检查Kafka broker上的组分配，我会看到：（为了可读性，删除了其他分区）

GROUP                             CONSUMER-ID                                                                                                                         HOST                        CLIENT-ID                                                                                      #PARTITIONS     ASSIGNMENT
fj.TheAggregation.TST.V1.PERF fj.TheAggregation.TST.V1.PERF-6898e899-7722-421a-8841-f8e45b074981-StreamThread-3-consumer-c089baaa-343b-484f-add6-aca12572e2a5 10.11.200.115/10.11.200.115 fj.TheAggregation.TST.V1.PERF-6898e899-7722-421a-8841-f8e45b074981-StreamThread-3-consumer 54              fj.TheAggregationDocument.TST.V1.PERF(4,8,12,16,20)
fj.TheAggregation.TST.V1.PERF fj.TheAggregation.TST.V1.PERF-6898e899-7722-421a-8841-f8e45b074981-StreamThread-2-consumer-f5e2d4e3-feee-4778-8ab8-ec4dd770541a 10.11.200.115/10.11.200.115 fj.TheAggregation.TST.V1.PERF-6898e899-7722-421a-8841-f8e45b074981-StreamThread-2-consumer 54              fj.TheAggregationDocument.TST.V1.PERF(5,9,13,17,21)
fj.TheAggregation.TST.V1.PERF fj.TheAggregation.TST.V1.PERF-0733344b-bd8d-40d6-ad07-4fc93de76cf2-StreamThread-4-consumer-63371f35-118a-44e0-bc9b-d403fb59384d 10.11.200.114/10.11.200.114 fj.TheAggregation.TST.V1.PERF-0733344b-bd8d-40d6-ad07-4fc93de76cf2-StreamThread-4-consumer 54              fj.TheAggregationDocument.TST.V1.PERF(2)
fj.TheAggregation.TST.V1.PERF fj.TheAggregation.TST.V1.PERF-0733344b-bd8d-40d6-ad07-4fc93de76cf2-StreamThread-1-consumer-714f0fee-b001-4b16-8b5b-6ab8935becfd 10.11.200.114/10.11.200.114 fj.TheAggregation.TST.V1.PERF-0733344b-bd8d-40d6-ad07-4fc93de76cf2-StreamThread-1-consumer 54              fj.TheAggregationDocument.TST.V1.PERF(0)
fj.TheAggregation.TST.V1.PERF fj.TheAggregation.TST.V1.PERF-0733344b-bd8d-40d6-ad07-4fc93de76cf2-StreamThread-2-consumer-d14e2e20-9aad-4a20-a295-83621a76b099 10.11.200.114/10.11.200.114 fj.TheAggregation.TST.V1.PERF-0733344b-bd8d-40d6-ad07-4fc93de76cf2-StreamThread-2-consumer 54              fj.TheAggregationDocument.TST.V1.PERF(1)
fj.TheAggregation.TST.V1.PERF fj.TheAggregation.TST.V1.PERF-6898e899-7722-421a-8841-f8e45b074981-StreamThread-4-consumer-14f390d9-f4f4-4e70-8e8d-62a79427c4e6 10.11.200.115/10.11.200.115 fj.TheAggregation.TST.V1.PERF-6898e899-7722-421a-8841-f8e45b074981-StreamThread-4-consumer 54              fj.TheAggregationDocument.TST.V1.PERF(7,11,15,19,23)
fj.TheAggregation.TST.V1.PERF fj.TheAggregation.TST.V1.PERF-6898e899-7722-421a-8841-f8e45b074981-StreamThread-1-consumer-57d2f85b-50f8-4649-8080-bbaaa6ea500f 10.11.200.115/10.11.200.115 fj.TheAggregation.TST.V1.PERF-6898e899-7722-421a-8841-f8e45b074981-StreamThread-1-consumer 54              fj.TheAggregationDocument.TST.V1.PERF(6,10,14,18,22)
fj.TheAggregation.TST.V1.PERF fj.TheAggregation.TST.V1.PERF-0733344b-bd8d-40d6-ad07-4fc93de76cf2-StreamThread-3-consumer-184f3a99-1159-44d7-84c6-e7aa70c484c0 10.11.200.114/10.11.200.114 fj.TheAggregation.TST.V1.PERF-0733344b-bd8d-40d6-ad07-4fc93de76cf2-StreamThread-3-consumer 54              fj.TheAggregationDocument.TST.V1.PERF(3)

因此每个流服务总共分配了54个分区，但它们的分配并不均匀。此外，如果我检查每个实例上的本地存储，我会看到流ktable都在同一个节点中，即使代理声明某些分区被分配给另一个实例。因此代理提供的数据似乎与streamapp状态不匹配。

是否有方法确保GroupLeader平均分配分区？我希望有某种方法来指定或为每个流分配某种“权重”，以便GroupLeader能够在服务实例之间均匀地分配资源密集的流，或者至少不是很不平衡。顺便问一下，有没有一些Kafka用户群推荐问这种事情？谢谢

Answer 1

2.6中对streams assignor有很多改进(https://cwiki.apache.org/confluence/display/kafka/kip-441%3a+smooth+scaling+out+for+kafka+streams)，您可以在这里阅读。

我不知道他们是否会解决你的问题，但应该会有帮助。它确实区别对待ktables这样的有状态任务，并且应该更好地加载它们。

如果您不能从2.3.1升级，您可以尝试使用不同的名称。你可能只是得到了不幸的散列。