如何找到kafka消费者消耗来自主题的所有消息所花费的时间
我必须记录消费者在SpringKafka中花费的时间。由于kafkaListener方法对每条消息都执行，因此在那里放置一个记录器是行不通的。此外，有时一些信息会丢失，而不是被消费者消费掉。我应该把记录器放在哪里，以找出消费者启动后的弹性时间。使用者不会退出或关闭，其轮询将无限期进行
共有1个答案
您可以设置idleEventInterval容器属性并使用Application ationListener
事件每隔idleEventInterval发布一次，并包含一个idleTime属性，该属性是我们上次收到消息以来的时间。
对于开始时间，您可以查看分配的分区日志消息，或者只使用容器的开始时间。
-
生产者发送消息到一个有四个分区的主题。我们有一个消费者在消费来自这个主题的消息。应用程序在工作日一直运行周末例外：它不会在周末期间调用poll方法。 使用者配置：自动提交，自动提交时间为5s（默认）。 应用程序一直运行良好，直到一个星期天，当它重新开始调用poll方法。我们看到有数百万条消息从这个话题中被轮询出来。消费者基本上是轮询来自主题的所有消息。将新的偏移量与它在周末停止之前的偏移量进行比较
-
有人能帮我弄清楚这件事吗。 谢了！
-
D： \软件\Kafka\Kafka2.10-0.10.0.1\bin\windows 我使用上面的命令来消费消息，有什么我错过的吗？帮助我： 这个 那些是生产者和消费者......
-
我写了一个Kafka消费者从主题中获取所有记录，然后只进入下一步，但它没有获取所有记录。
-
我在mac上运行Kafka和Flink作为docker容器。 我已经实现了Flink作业，它应该消耗来自Kafka主题的消息。我运行一个向主题发送消息的python生产者。 工作开始时没有问题，但没有收到任何消息。我相信这些消息被发送到了正确的主题，因为我有一个能够使用消息的python消费者。 flink作业（java）： Flink作业日志： 生产者作业（python）：（在主机上运行-不是d
-
我有一个简单的Kafka设置。生成器正在以较高的速率向单个分区生成具有单个主题的消息。单个使用者正在使用来自此分区的消息。在此过程中，使用者可能会多次暂停处理消息。停顿可以持续几分钟。生产者停止产生消息后，所有排队的消息都将由使用者处理。生产者产生的消息似乎不会立即被消费者看到。我使用的是Kafka0.10.1.0。这里会发生什么？下面是使用消息的代码部分： 代理上的所有配置都保留为kafka默认