当前位置: 首页 > 知识库问答 >
问题:

缺少使用Jmx Exporter for Prometheus的汇合Kafka连接度量

干宏邈
2023-03-14

我无法导出合流连接服务的“type=connector-metrics”指标,但其他指标工作正常。

我正在使用Prometheus导出器java代理来公开来自Confluent connect的指标,如下所示。

export KAFKA_OPTS='-javaagent:/opt/prometheus/jmx_prometheus_javaagent-0.12.0.jar=8093:/opt/普罗米修斯/KAFKA connect.yml'

   - pattern: kafka.connect<type=connector-metrics, connector=(.+)><>([a-z-]+)
     name: kafka_connector_$2
     labels:
       connector: "$1"
     help: "Kafka Connect JMX metric $1"
     type: GAUGE

使用JMXTERM工具,我能够看到“type=connector metrics”的属性

$>bean kafka.connect:connector=local-file-sink,type=connector-metrics
#bean is set to kafka.connect:connector=local-file-sink,type=connector-metrics
$>info
#mbean = kafka.connect:connector=local-file-sink,type=connector-metrics
#class name = org.apache.kafka.common.metrics.JmxReporter$KafkaMbean
# attributes
  %0   - connector-class (double, r)
  %1   - connector-type (double, r)
  %2   - connector-version (double, r)
  %3   - status (double, r)
#there's no operations
#there's no notifications
$>get connector-type
#mbean = kafka.connect:connector=local-file-sink,type=connector-metrics:
connector-type = sink;

$>get status
#mbean = kafka.connect:connector=local-file-sink,type=connector-metrics:
status = running;

汇合连接版本- 5.4

有什么解决以上问题的建议吗?

共有2个答案

鲜于谦
2023-03-14

似乎问题是连接器指标的属性类型是双精度的,但值是字符串

以下是我如何获得状态度量的示例:

# kafka.connect:type=connector-metrics,connector="{connector}"
  - pattern: 'kafka.connect<type=connector-metrics, connector=(.+)><>status: ([a-z-]+)'
    name: kafka_connectors_status
    value: 1
    labels:
      connector: $1
      status: $2
    help: "Kafka Connect JMX metric connectors status"
    type: GAUGE
钱季
2023-03-14

我一直在为同一个问题绞尽脑汁。从那以后,我通过升级到最新的jmx_exporter(0.13.0)并使用示例连接器导出器配置文件(https://github.com/prometheus/jmx_exporter)找到了一个修复程序。我找不到更改日志来说明更改了什么,但他们“修复”了一些东西。

 类似资料:
  • 我正在尝试导出kafka连接指标。我的解决方案包括运行jmx导出器,并在endpoint处公开它们,然后可以使用Prometheus擦除。现在,我可以对我尝试过的所有指标都这样做,但对于一组指标,它不起作用。我对这组指标的导出配置如下 根据官方文档,这些指标的定义如下所示: 我想模式选择有问题,但我无法弄清楚是什么。请提供任何帮助或建议!!

  • 我正在尝试将MySQL与Kafka Connect连接,并且出现了许多错误。我正在共享我的connect-standalone.properties和mysql-jdbc-connector.properties,并显示错误。我的 Kafka 和 MySQL 在不同的集群中,我使用的是融合连接器,但不是在融合接口中。我下载了4.1.0 JDBC MySQL融合连接器。 MySQL-JDBC-con

  • 我们刚刚从dbcp迁移到tomcat jdbc连池。我们在加载中尝试了系统,收到了以下异常: 请注意: 不忙的连接在哪里?忙的数字在这之后一直在下降,但我们仍然没有得到任何连接。 有什么想法吗? 配置: env:ubuntu和tomcat 6. db-mysql

  • 有没有人发帖回应这个问题?还有其他帖子没有答案。我们的情况是,在流流程的第一步中,我们将消息推送到支持KTable的主题上。然后我们从这些消息中提取少量数据并将其传递出去。我们正在对较小数量的数据进行多次计算,以便进行分组和聚合。在流式处理的最后,我们只想通过一个KTable连接回原来的主题,以便再次获取完整的消息内容。联接的结果只是数据的一个子集,因为它无法在KTable中找到条目。 这只是问题

  • 我想知道有没有办法 > 每个架构而不是每个表创建主题。如果启用了每个模式的主题,那么是否可以在表的基础上支持模式演进(使用模式注册表)? 如果每个模式的主题是不可能的,那么有没有关于如何管理100个或数千个主题的指导方针?考虑到表数与主题数之间会有一对一的映射?

  • 我有一个kafka主题,有200万条消息,我的刷新大小是100000,默认分区为分布式模式,有4个工作者,我可以看到数据在几秒钟内立即写入HDFS(10到15秒)。 我看到创建了一个+tmp目录和文件夹,并且每次触发一个新连接器时都会创建主题。 kafka connect的行为是每次都写得这么快,还是已经将数据存储在HDFS中,并根据连接器属性将其移动到主题目录? 我需要清楚这是怎么发生的。如果我