Kafka消费群体能否在重新平衡期间冻结
Kafka消费群体的滚动部署是否会导致该群体冻结？
让我们来考虑一下这个场景，
- 我们开始滚动部署
因此，如果您有一个足够大的集群，并且需要一些时间才能在一台机器上完成部署（通常情况下），这会导致消耗完全冻结吗？
如果是，在生产中进行消费者群体更新的策略是什么
共有1个答案
是的，那是绝对可能的。最近有许多改进措施可以缓解此类事件期间的停机时间。我建议启用一个或两个或以下功能：
在2.3中添加了静态成员身份，可以防止在组中的已知成员被跳转时发生重新平衡。这要求客户机和代理都在版本2.3上
增量合作再平衡使集团能够更快地实现再平衡，并允许单个成员在整个再平衡过程中继续消费。在滚动部署期间，您仍然会看到重新平衡，但它们不会导致整个部署期间的消费完全冻结。这完全是客户端，因此它将与任何代理一起工作，但您的客户应该在2.5版上。1.
-
我们有一个要求，即给定Kafka分区的消息跨越组成消费者组的集群中的所有节点，应该总是一次执行一条消息，没有重叠。它们被处理（稍微）无序是可以容忍的，但是不允许时间重叠。 在重新平衡期间，我们如何才能安全——例如，假设我们自动缩放我们的消费者，并为同一个消费者组启动一个新消费者——那么新消费者将不得不接管同一个消费者组中现有消费者的分区。 对于一个特定的分区P，让我们假设使用者c1以前处理过分区P
-
我用的是Kafka：2.11-1.0.1。应用程序包含主题“X”的并发性为5的使用者，分区为5。 重新启动应用程序并在分区分配之前在主题“X”上发布消息时，主题“X”的5个使用者会找到组协调器，并将加入组请求发送给组协调器。预计会收到小组协调员的回复，但未收到回复。 我检查了Kafka服务器日志，但在调试日志级别找不到相关日志。 当我运行描述消费者组的命令时，作出如下观察： 消费群体正在重新平衡
-
当一个组中只有一个消费者，并且认为消费者无法在session.time.out内进行轮询时，将触发重新平衡，但是在这种情况下，组中只有一个消费者，现在假设session.time.out是30秒和消费者民意调查后50秒组协调员将识别消费者后50秒，并允许它提交偏移或协调员将断开消费者和没有偏移得到提交，并将重新平衡消费者与新的消费者标识？如果上次提交的偏移量是345678，在下一次轮询中，它处理了
-
kafka机器作为hortonworks包的一部分安装，版本为0.1X 我们运行应用程序，使用主题中的数据 在最后几天，我们看到我们的应用程序--失败了，我们开始寻找根本原因 在集群中，我们看到以下行为 从侧集群是健康的，所有的主题都是平衡的，所有的kafka经纪人都正确地向zooManager签名 一段时间后（几个小时），我们再次运行以下内容，但没有错误- 我们得到以下正确的结果 所以我们想了解
-
在消费者重新平衡期间如何确保消息排序。假设最初我们有四个分区:p1、p2、p3、p4和两个消费者c1和c2(在同一组中)。因此每个消费者得到两个分区，例如c1 : p1，p2和c2 : p3，p4。 现在添加了新的消费者，比如c3和c4，重新平衡发生，这样每个消费者都有一个分区，比如c1： p1、c2： p2、c3： p3、c4： p4。 在此期间，消费者c1可能正在处理来自分区p2的消息(在重新
-
我是Kafka的新手，正在学习Kafka内部知识。请根据需要随时更正我的理解。。 这是我的实时场景..感谢所有的回复: 我有一个接收数据文件的实时FTP服务器…比如索赔文件。 我将把这些数据发布到一个主题中.让我们把这个主题称为claims_topic（2个分区）. 我需要订阅这个claims_topic，阅读消息并将它们写入Oracle和Postgres表。让我们将oracle表称为Otable