我有这个问题:新的物理分区正在为我创建,请求经常发生在同一个分区上。我想知道这怎么可能,因为我没有指示热分区键?
我唯一的分区密钥是一个id,其组成如下:
用户id_年份_旅行号
图表显示您有一个热分区。您需要选择一个基数更高的分区键,以便更均匀地将写操作分散到各个分区,并将数据迁移到这个新容器中。最好使用更改提要从现有容器中读取数据并将数据写入新容器中。当更改提要跟上时,您可以更改应用程序中的连接字符串,并重新启动它,然后在很少的停机时间内写入新容器。
首先,很抱歉,如果我的术语不准确,我对Kafka很陌生,我已经尽可能多地读过了。我们有一个使用kafkastreams的服务,kafka版本:2.3.1。流应用程序具有一个流拓扑,该流拓扑从“topica”读取,执行转换并发布到另一个主题“topicb”,然后由拓扑的另一个流消费,并使用Ktable(localstore)聚合它。侦听器将ktable更改发布到另一个主题中。 主题有24个分区。我们
当我们的kafka主题中有多个分区时,分区重新平衡是一件常见的事情吗? 这并不一定意味着我们的应用程序存在延迟或问题? 我一直看到分区被撤销和重新分配的日志。
本文向大家介绍消费组与分区重平衡相关面试题,主要包含被问及消费组与分区重平衡时的应答技巧和注意事项,需要的朋友参考一下 当有新的消费者加入到消费者组时,原本的分区就需要重新分配;比如一个topic有30个分区,原本只有两个消费者,每人负责15个分区,当新加入一个消费者时,并没有分区可以给他消费,只能是将30个分区重新分配。 每个消费者组都会有一个broker负责协调(称为group coordin
在系统设计中提出的一个问题是,如果消息键的选择方式在数据流中经常发生,这是否意味着只有一个主题分区将专门接收这些消息,即使这会在分区如何填充数据的方式上造成不平衡? Kafka是否有一种机制可以在多个分区之间“拆分”具有相同键的消息,从而在这种情况下牺牲顺序? 或者键中没有例外
我试图在Hazelcast 3.8.8中建立分区组。我的主要目标是将驻留在2台物理机器中的4个集群成员分为2个分区组。当我启用分区组时,它似乎不起作用,组也没有建立。您能告诉我启用分区组缺少什么吗? 我试图通过hazelcast启用分区分组。xml。使用group type=“CUSTOM”进行测试,并将驻留在my local和我们的服务器中的成员分为两个不同的成员组。成员组成了一个集群,但似乎没
在消费者之间重新平衡分区的代价有多大。我期待着每隔几秒钟就有一个新的消费者结束或加入同一个消费者群体。所以我只想知道一个再平衡操作的开销和延迟。 假设使用者C1具有分配给它的分区P1、P2、P3,并且它正在处理来自分区P1的消息M1。现在消费者C2加入了这个群体。C1和C2之间的分区是如何划分的。是否有可能拒绝C1的(可能需要一些时间将其消息提交给Kafka)对M1的提交,而M1将被视为一个新的消