Kafka消费者如何在消息未提交时自动轮询
我有一个Kafka消费者，其中消息通过HTTP POST调用传递给另一个应用程序。我还使用手动提交偏移量
确认。确认（）；
有一些HTTP返回错误代码，我们忽略错误并提交偏移量，还有一些错误代码我们不提交偏移量。问题是，kafka使用者仅在我重新启动使用者时才轮询未提交的消息。如果分区中有未提交的消息，是否还有轮询消息的地方？
共有1个答案
请参阅此答案以获取解释。
要重新传递记录，您必须抛出异常，并结合SeekToMONtErrorHandler，它会重新定位未处理的分区，以便在下一次轮询时再次获取它们。
或者您可以nack（）确认以获得类似的结果。
-
我要求从主题中读取消息，对它们进行批处理，然后将批处理推送到外部系统。如果批处理因任何原因失败，我需要再次使用同一组消息并重复该过程。因此，对于每个批处理，每个分区的 from 和 to 偏移量都存储在数据库中。为了实现这一点，我通过向读取器分配分区来为每个分区创建一个Kafka使用者，基于先前存储的偏移量，使用者寻求该位置并开始读取。我已关闭自动提交，并且不提交来自使用者的偏移量。对于每个批处理
-
我正在读这篇： 自动提交提交偏移量最简单的方法是允许消费者为您执行。如果您配置启用。汽车commit=true，则每五秒钟消费者将提交客户端从poll（）收到的最大偏移量。五秒钟的间隔是默认值，由设置“自动”控制。犯罪间隔ms.与消费者中的其他所有内容一样，自动提交由轮询循环驱动。无论何时进行轮询，使用者都会检查是否到了提交的时间，如果是，它将提交上次轮询中返回的偏移量。 也许问题是我的英语不好，
-
Kafka新手。 Kafka版本：2.3.1 我正在尝试使用Spring cloud使用来自两个主题的Kafka消息。除了kafka活页夹和下面的一些简单配置之外，我没有做太多配置。每当（组协调器lbbb111a.uat.pncint.net:9092（id：2147483641机架：null）不可用或无效时，将尝试重新发现）发生时，已经处理的一堆消息会再次被处理。不确定发生了什么。
-
我正在构建一个使用来自Kafka主题的消息并执行数据库更新任务的Kafka消费者应用程序。消息是每天一次大批量生产的--所以该主题在10分钟内加载了大约100万条消息。主题有8个分区。 Spring Kafka消费者（使用@KafKalistener注释并使用ConcurrentKafkaListenerContainerFactory）在非常短的批处理中被触发。 批处理大小有时仅为1或2条消息。
-
我正在使用以下在docker上运行kafka、zookeeper和kafdrop： 我有一个具有以下配置的Spring Boot Producer应用程序-: 在我的中，我有以下内容： 这是一个单独的应用程序,我在我的服务中这样称呼Kafka制作人： 在一个完全不同的spring引导应用程序中，我有一个像这样的使用者: 我可以看到消费者正在连接到代理，但是有消息的日志。下面是我能看到的完整日志：
-
我有一个简单的Kafka设置。生成器正在以较高的速率向单个分区生成具有单个主题的消息。单个使用者正在使用来自此分区的消息。在此过程中，使用者可能会多次暂停处理消息。停顿可以持续几分钟。生产者停止产生消息后，所有排队的消息都将由使用者处理。生产者产生的消息似乎不会立即被消费者看到。我使用的是Kafka0.10.1.0。这里会发生什么？下面是使用消息的代码部分： 代理上的所有配置都保留为kafka默认