当前位置: 首页 > 知识库问答 >
问题:

用KafkaOffsetMonitoring工具监测Kafka喷口

徐俊人
2023-03-14

多谢了,帕拉克·沙阿

共有1个答案

芮琛
2023-03-14

我从未使用过KafkaOffsetMonitor,但我可以回答另一部分。

Connect是可以为Kafka指定znode的属性;默认情况下,它将所有数据保留在“/”。

您可以使用zkcli.sh(zookeeper命令行)访问zookeeper文件系统。您应该查看/consumers和/brokers;下面会给出你的偏移量

get /consumers/my_test_group/offsets/my_topic/0
 类似资料:
  • 我用的是Kafka。请在下面找到测试程序。 我正在使用Storm 0.8.1。在Storm 0.8.2中存在多方案类。我会用那个。我只想知道早期版本是如何通过实例化String计划()类来工作的?我在哪里可以下载早期版本的Kafka喷口?但是我怀疑这是一个正确的选择,而不是在Storm 0.8.2上工作。???(困惑) 当我在暴风集群上运行代码(如下所示)时(即当我推我的拓扑时),我得到以下错误(

  • 主要内容:复制工具Kafka工具包装在下。 工具分为系统工具和复制工具。 系统工具 系统工具可以使用脚本从命令行运行。 语法如下 - 下面提到了一些系统工具 - Kafka迁移工具 - 此工具用于将代理从一个版本迁移到另一个版本。 Mirror Maker - 此工具用于将一个Kafka集群镜像到另一个。 消费者偏移量检查器 - 此工具显示指定的一组主题和使用者组的消费者组,主题,分区,偏移量,日志大小,所有者。

  • 我想知道是否有任何Kafka喷口支持安全的Kafka经纪人。apache storm的KafkaSpout不支持SSL Kafka。 下面提到的Kafka不接受SSL Kafka生产者/消费者支持的任何参数。 请让我知道有没有任何方法,我们可以实现安全的Kafka消息流处理与Storm拓扑。

  • 我使用storm0.9.4和storm-kafka:0.9.0-wip16a-scala292作为从kafka0.7读取的依赖项。 我们的Kafka保留政策是7天。 我从经纪人的最新偏移量开始读取。

  • 这里可能发生了同样的事情:错误backtype.storm.util-Async循环死亡!BufferUnderFlowException:null,但我将添加一个完整的堆栈跟踪和一些更多的上下文。 Storm版本-9.3 Storm-Kafka版本-9.3 Kafka版本-0.8.2-beta 堆栈跟踪: Spout代码(注意,出于调试目的,我使用的是一个静态定义的分区映射,只有一个代理):

  • 1. ngxtop ngxtop是一款用python编写的类top的监控nginx信息的工具。它就像top一样,可以实时地监控nginx的访问信息。 2. 安装 在ubuntu下是这样安装的。 sudo pip install ngxtop 如果没有装pip,可以用下面的命令安装。 sudo apt-get install python-pip 3. 用法 直接输入命令就可以了。 ngxtop 效