如何在apache kafka中获取主题中的消息数
我正在使用apache kafka进行消息传递。我已经用Java实现了生产者和消费者。如何才能得到一个主题中的留言数量？
共有1个答案
从消费者的角度来看，唯一能想到的方法是实际消费消息，然后计算它们。
Kafka broker公开了自启动以来接收的消息数量的JMX计数器，但您无法知道其中有多少消息已经被清除。
在大多数常见的场景中，Kafka中的消息最好被看作是无限流，获得当前保存在磁盘上的消息的离散值并不相关。此外，当处理一个代理集群时，事情变得更加复杂，这些代理集群都在主题中包含消息的子集。
-
问题内容： 我正在使用apache kafka进行消息传递。我已经用Java实现了生产者和消费者。我们如何获取主题中的消息数量？ 问题答案： 从消费者的角度来看，想到此的唯一方法是实际消费消息并计数。 Kafka代理公开了自启动以来收到的消息数量的JMX计数器，但是您不知道已经清除了其中的多少。 在最常见的情况下，最好将Kafka中的消息视为无限流，而获得当前磁盘上保留的离散值并不重要。此外，在与
-
我的用例是，从生产者端，它将一行数据(大约100字节)作为一条消息发布到kafka topic，从消费者端，我希望一次消费5条消息，并将其提供给我的消费者逻辑。 我做了一个简单的例子，它总是得到一个消息并打印在控制台上。请建议我任何需要的配置更改，以实现这一点。 请在下面找到源代码。 使用以下命令启动生产者 /kafka生产者性能测试——num记录500——主题测试——吞吐量10——有效负载文件测
-
我想要从服务器的一个主题开始所有的消息。 当使用上面的控制台命令时，我希望能够从一开始就获得一个主题中的所有消息，但我不能从一开始就使用java代码消费一个主题中的所有消息。
-
我一直在使用covid19api持有的数据实现Kafka生产者/消费者和流。 我试图从endpoint中提取每天的案例https://api.covid19api.com/all.然而，这个服务——以及这个API中的其他服务——拥有自疾病开始以来的所有数据（确诊、死亡和恢复病例），但积累了数据，而不是日常病例，这就是我最终要实现的。 使用transformValues和StoreBuilder（正
-
我需要一个Kafka主题存储的消息数量。这与任何消费者是否消费了消息无关。 以上是否等于Kafka主题中当前存储的消息数？
-
我们正在使用带有Datatorrent的Apache kafka来处理消息。有没有办法从shell命令行检查kafka主题中没有消息？ 谢啦