异步提交偏移量时“提交偏移量失败”
我有一个Kafka消费者，我从它消费数据从一个特定的主题，我看到下面的例外。我使用的是0.10.0.0Kafka版本。
LoggingCommitCallback.onComplete: Commit failed for offsets= {....}, eventType= some_type, time taken= 19ms, error= org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time between subsequent calls to poll() was longer than the configured session.timeout.ms, which typically implies that the poll loop is spending too much time message processing. You can address this either by increasing the session timeout or by reducing the maximum size of batches returned in poll() with max.poll.records.
我添加了这两个额外的消费者属性，但仍然没有帮助：
session.timeout.ms=20000
max.poll.records=500
kafkaConsumer.commitAsync(new LoggingCommitCallback(consumerType.name()));
那个错误意味着什么？我该如何解决它？我需要添加一些其他消费者属性吗？
共有1个答案
是的，较低的最大波尔记录。您将获得较小批的数据，但会有更频繁的轮询调用，这将有助于保持会话的活动性。
-
我有一个关于Kafka自动提交机制的问题。我正在使用启用自动提交的Spring-Kafka。作为一个实验，我在系统空闲（主题中没有新消息，没有正在处理的消息）的情况下，将我的消费者与Kafka的连接断开了30秒。重新连接后，我收到了如下几条消息： 第一，我不明白有什么好犯的？系统空闲（所有以前的消息都已提交）。第二，断开时间为30秒，比max.poll.interval.ms的5分钟（300000
-
我有一个ReactorKafka项目，它消耗来自Kafka主题的消息，转换消息，然后写入到另一个主题。 我的理解是，只有在Reactor中成功完成所有顺序步骤后，才会提交偏移量。对吗？我想确保不会处理下一条记录，除非当前记录成功发送到目标Kafka主题。
-
我目前正在从具有特定偏移量的主题中获取消息。我正在使用寻求（）来实现它。但是当我将enable.auto.commit设置为true或使用手动同步（委托同步（）/委托同步（））时，Seek（）不起作用，因为它没有轮询来自特定偏移量的消息，而是从最后提交的偏移量中选择。 因此，在使用Seek（）时，是否必须将偏移量存储在外部DB中，而不提交给Kafka？Seek和Commit不能并行工作吗？ 客户端
-
null 当侦听器处理记录后返回时提交偏移量。 如果侦听器方法抛出异常，我会认为偏移量不会增加。但是，当我使用下面的code/config/command组合对其进行测试时，情况并非如此。偏移量仍然会得到更新，并且继续处理下一条消息。 我的配置： 验证偏移量的命令： 我使用的是kafka2.12-0.10.2.0和org.springframework.kafka:spring-kafka:1.1
-
我正试着把我的头绕在Kafka的交易上，而且只绕了一次。 我已经创建了一个事务性消费者，我想确保阅读和处理某个主题的所有消息。如果事务失败，消息因此丢失，Kafka仍会提交偏移量。 更正式地说，如果流处理应用程序使用消息A并生成消息B，使得B=F（A），那么恰好一次处理意味着当且仅当成功生成B时才认为A被消耗，反之亦然。来源 基于此，我假设消息A没有被消费，因此将再次被重新处理。但这条信息将如何重
-
我有Kafka流应用程序。我的应用程序正在成功处理事件。 如何使用重新处理/跳过事件所需的偏移量更改Kafka committed consumer offset。我试过如何更改topic？的起始偏移量？。但我得到了“节点不存在”错误。请帮帮我。