当前位置: 首页 > 面试题库 >

Java,如何获取Apache Kafka中某个主题的消息数

程瑞
2023-03-14
问题内容

我正在使用apache kafka进行消息传递。我已经用Java实现了生产者和消费者。我们如何获取主题中的消息数量?


问题答案:

从消费者的角度来看,想到此的唯一方法是实际消费消息并计数。

Kafka代理公开了自启动以来收到的消息数量的JMX计数器,但是您不知道已经清除了其中的多少。

在最常见的情况下,最好将Kafka中的消息视为无限流,而获得当前磁盘上保留的离散值并不重要。此外,在与一组经纪人进行交易时,事情变得更加复杂,这些经纪人都具有主题中消息的子集。



 类似资料:
  • 我正在使用apache kafka进行消息传递。我已经用Java实现了生产者和消费者。如何才能得到一个主题中的留言数量?

  • 我的用例是,从生产者端,它将一行数据(大约100字节)作为一条消息发布到kafka topic,从消费者端,我希望一次消费5条消息,并将其提供给我的消费者逻辑。 我做了一个简单的例子,它总是得到一个消息并打印在控制台上。请建议我任何需要的配置更改,以实现这一点。 请在下面找到源代码。 使用以下命令启动生产者 /kafka生产者性能测试——num记录500——主题测试——吞吐量10——有效负载文件测

  • 我想知道如何通过java api在kafka中获取每个主题的消息数量,我不知道想使用下面帖子中提到的命令行工具。知道怎么做吗? PS:我不想通过循环KAFKA消费者流来计算计数,我试图在开始时计算这个计数(在从KAFKA消费之前) Java,如何在阿帕奇Kafka中获取主题中的消息数

  • 我想要从服务器的一个主题开始所有的消息。 当使用上面的控制台命令时,我希望能够从一开始就获得一个主题中的所有消息,但我不能从一开始就使用java代码消费一个主题中的所有消息。

  • 我一直在使用covid19api持有的数据实现Kafka生产者/消费者和流。 我试图从endpoint中提取每天的案例https://api.covid19api.com/all.然而,这个服务——以及这个API中的其他服务——拥有自疾病开始以来的所有数据(确诊、死亡和恢复病例),但积累了数据,而不是日常病例,这就是我最终要实现的。 使用transformValues和StoreBuilder(正

  • 我需要一个Kafka主题存储的消息数量。这与任何消费者是否消费了消息无关。 以上是否等于Kafka主题中当前存储的消息数?