Spring云流-支持使用Kinesis重新平衡消费者
Spring的云流是否也支持Kafka式的动觉再平衡？最近有人promise要解决这个问题https://github.com/spring-projects/spring-integration-aws/issues/99
谢谢
共有1个答案
在AWS动觉中根本没有确切的、Kafka式的行为。在Kafka中，重新平衡是在代理端执行的，所有消费者都会收到关于他们自己分配的通知。
我们目前在KinesisMessageDrivenChannelAdapter中看到的是碎片消费者之间的某种领导人选举。但当一个新的消费者加入这个群体时，解决方案还并没有完全实现自动再平衡。
在Kinesis客户端库中有类似自动重新平衡的功能，并且已经有了一个KclMessageDrivenChannelAdapter，但从Spring集成AWS的角度来看，它还没有发布。
-
我用的是Kafka：2.11-1.0.1。应用程序包含主题“X”的并发性为5的使用者，分区为5。 重新启动应用程序并在分区分配之前在主题“X”上发布消息时，主题“X”的5个使用者会找到组协调器，并将加入组请求发送给组协调器。预计会收到小组协调员的回复，但未收到回复。 我检查了Kafka服务器日志，但在调试日志级别找不到相关日志。 当我运行描述消费者组的命令时，作出如下观察： 消费群体正在重新平衡
-
本文向大家介绍消费组与分区重平衡相关面试题，主要包含被问及消费组与分区重平衡时的应答技巧和注意事项，需要的朋友参考一下 当有新的消费者加入到消费者组时，原本的分区就需要重新分配；比如一个topic有30个分区，原本只有两个消费者，每人负责15个分区，当新加入一个消费者时，并没有分区可以给他消费，只能是将30个分区重新分配。 每个消费者组都会有一个broker负责协调（称为group coordin
-
给定以下设置： Kafkav0.11.0.0 3个经纪人 2个主题，每个主题有2个分区，复制因子为3 2个消费者组，每个主题一个 3个包含使用者的服务器 服务器包含两个使用者，每个主题一个，这样： null null null 消费者-B1被分配到topic-1分区-1 消费者-C1被分配到topic-1分区-0 消费者-A1没有分配给分区 这似乎正如我们所料。由于分区计数为2，我们只有两个活动消
-
我想创建一个公共项目（使用spring cloud stream），根据消息内容动态地将消息路由到不同的（消费者）项目。（rabbitmq作为消息代理） spring cloud stream支持吗？如果没有，有什么建议的方法来实现这一点？thx公司
-
我有一个关于2个代理上的3个分区的主题。（Kafka版本:0.8.1) 使用不同的用户guid（如:FC42B34DD7658503E040970A2C437358)作为分区密钥批量添加消息。（约10K条消息） 在加载消息时，我有一个正在运行的消费者(consumer1)，它开始很好地处理消息。 然后我用相同的消费者组ID启动了另一个消费者(consumer2)。 我希望两个消费者都应该分配负载。
-
我有一个带注释的kafka消费者方法@kafkalistener。我已经在容器上设置了重试模板，并且重试配置是这样的，如果在处理消息时发生了一些异常，它将始终重试。我已将最大轮询记录设置为1。如果这种情况实时发生，并且消费者一直在重试消息，经纪人会认为该消费者已经死亡并触发重新平衡吗？或者，在重试时，消费者是否会对未能处理的相同消息进行投票？如果这是真的，因为民意调查正在进行，我的假设是不会有任何