Kafka中主题分区再平衡的代价
在消费者之间重新平衡分区的代价有多大。我期待着每隔几秒钟就有一个新的消费者结束或加入同一个消费者群体。所以我只想知道一个再平衡操作的开销和延迟。
假设使用者C1具有分配给它的分区P1、P2、P3，并且它正在处理来自分区P1的消息M1。现在消费者C2加入了这个群体。C1和C2之间的分区是如何划分的。是否有可能拒绝C1的（可能需要一些时间将其消息提交给Kafka）对M1的提交，而M1将被视为一个新的消息，并将被交付给其他人（我知道Kafka至少是一次交付模型，但希望确认re分区是否会导致相同消息的重新交付）？
共有1个答案
如果我是你，我会重新考虑这个设计。也许你需要一个消费者池？
>
消费者每次加入或离开群体时都会发生再平衡。
Kafka和当前的消费者肯定是为长期运行的消费者设计的。新的消费者设计（计划为0.9）将更好地处理短命消费者。根据我的经验，重新平衡需要100-500毫秒，这在很大程度上取决于动物园管理员是如何做的。
-
当我们的kafka主题中有多个分区时，分区重新平衡是一件常见的事情吗？ 这并不一定意味着我们的应用程序存在延迟或问题？ 我一直看到分区被撤销和重新分配的日志。
-
Kafka再平衡算法是否适用于不同主题？ 假设我有5个主题，每个主题都有10个分区，同一消费者组中有20个消费者应用程序实例，每个实例都订阅了这5个主题。 Kafka会尝试在20个实例中平衡50个分区吗？ 还是它只在一个主题内保持平衡，因此10个第一个实例可能（或可能）接收所有50个分区，而其他10个实例可能保持空闲？ 我知道，在过去，Kafka并没有在不同的主题之间取得平衡，但现在的版本呢？
-
我对再平衡有些怀疑。现在，我正在手动将分区分配给使用者。因此，根据文件，如果消费者离开/崩溃在一个消费群体中，就不会有再平衡。 假设同一组中有3个分区和3个使用者，每个分区都是手动分配给每个使用者的。一段时间后，第三个消费者倒下了。既然没有再平衡，我可以采取什么措施来确保停机时间最小化？我是否需要更改前两个分区中任何一个的配置，以从第三个分区或其他分区开始使用？
-
我知道在你的流中的任何时间点都可能发生再平衡。当它发生时，由于没有提交给定偏移量的最新偏移量，可能会发生事件的重新处理。 Kafka流是否允许在重新平衡发生之前完成任何飞行中处理？我的意思是，你的应用程序正在消耗一个记录（在你的过程方法内部），发生一个再平衡事件。该处理是否立即中止或允许处理方法完成？ 一个具体的例子是 最后一次计算是否会在状态存储中结束并转发到接收器主题？因此，这意味着当重新平衡
-
Kafka主题分区偏移位置始终从0或随机值开始，如何确保使用者记录是分区中的第一条记录？有没有办法找出答案？如果有的话，请让我知道。谢谢。
-
我有4个单一分区和应用程序的三个实例的主题。我试图通过编写一个自定义的PartitionGrouper来实现可伸缩性，它将创建如下3个任务: 第一个实例-topic1，分区0，topic4，分区0 第二个实例-主题2，分区0 第三实例-桌面3，分区0 我将NUM_STANDBY_REPLICAS_CONFIG配置为1，因为它将在本地维护状态（也可以消除invalidstatestore异常）。 上