Kafka检查队列大小
我正在尝试定期检查Kafka某个主题的队列大小。尽管如此，我甚至不知道如何检查这个指标一次。我对Kafka完全陌生，所以我不知道该怎么做。我认为这将涉及创建一个生产者或消费者来与队列交互，但我遇到了一个障碍。
共有2个答案
- 如果您想知道还有多少条消息需要按主题和分区 使用，请以编程方式，如果您使用的是高级使用者客户端，则必须查询 Zookeeper。与当前偏移位置相关的数据存储在路径 /kafka/使用者下。查看Kafka偏移监视器工具。它将使您了解存储在ZK中的数据类型。此行为将在下一版本 0.9.0 中更改，因为 ZK 中的写入密集型不是最佳用例。
- 如果你想知道这个话题中总共有多少条消息：你必须自己和消费者一起数。或者将消息镜像到另一个专用于分析目的（统计信息、计数、任何内容）的 Kafka 群集。
Kafka中的队列大小概念无关紧要，因为它不是队列，而是日志。您可以根据需要使用、倒带、跳转任何偏移量。
我认为目前是不可能的。您应该将Kafka topic视为一个无限的数据流，因此您唯一的选择是IMO -计算您的消费者所消费的消息。
您可以使用kafka偏移监控工具，它将显示每个主题分区的日志大小（您必须总结）：http://ingest.tips/2014/10/12/kafka-high-level-consumer-frequently-missing-pieces/
-
我使用的是ActiveMQ 5.8和JMeter 2.10
-
问题内容： 我正在python中使用该库，并且希望保持队列条目唯一。 因此，我想在添加到队列之前检查队列中是否没有“某物”，本质上是这样的函数，它可以在队列库中工作： 还是我应该使用其他库/方法来实现这一目标？ 问题答案： 标准类不能被迭代或检查。 但是，它被构建为可扩展。 首先，如果你看一下源（这是从文档的链接），有钩的方法，，并且可以覆盖改变实现。查看主类下面的子类，您可以看到它们是如何做到的
-
什么是最好的方法来实现死信队列（DLQ）的概念在Spring Boot 2.0应用程序中使用sping-kafka 2.1. x有所有的消息被处理失败的@KafkaListener方法的一些bean发送到一些预定义的Kafka DLQ主题并且不丢失一条信息？ 因此，Kafka的记录是： 已成功处理， 处理失败，并发送到DLQ主题， 处理失败，未发送到DLQ主题（由于意外问题），因此将再次被侦听器使
-
我需要能够更改ThreadPoolExecator的任务队列的大小。当然，BlockingQueue不支持更改大小，ThreadPoolExecitor不支持更改队列。 所以，我想到的方法是使用ThreadPoolExecutor。shutdownNow（），它返回了一个尚未执行的可运行程序列表。然后，我可以创建一个具有所需队列大小的新执行器，并重新提交所有任务。 问题是在shutdownNow（
-
本文向大家介绍kafka如何实现延迟队列？相关面试题，主要包含被问及kafka如何实现延迟队列？时的应答技巧和注意事项，需要的朋友参考一下 Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器（SystemTimer）。JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(nlog(n))，并不