如何配置 kafka 图表以将 kafka-metrics 和 kafka-jmx-metrics 同时暴露给 prometheus？

Question

我们使用Kafka图表（版本17）作为图表的依赖项。我试着配置对Kafka的监控。

values.yaml：

kafka:
  metrics:
    kafka:
      enabled: true
    jmx:
      enabled: true
    serviceMonitor:
      enabled: true
      labels:
        my.custom.label/service-monitor: "1.0"
   ...

然后，我部署我的应用程序，并前往普罗米修斯目标，我看到以下内容:

我对失败的请求感到担忧。

我看到了什么？

有两种服务需要监控:

< li>jmx-exporter Kafka-出口商

并且这两个服务都由2条路径请求：

• /
• /指标

但是< code>kafka-exporter对< code>/没有响应。如果启用了2个导出器，有没有办法配置kafka图表使其正常工作？

服务定义：

spec:
  endpoints:
    - path: /
      port: http-metrics
  namespaceSelector:
    matchNames:
      - my-ns
  selector:
    matchLabels:
      app.kubernetes.io/component: metrics
      app.kubernetes.io/instance: dev-my-app
      app.kubernetes.io/name: my-app-kafka

spec:
  endpoints:
    - path: /metrics
      port: http-metrics
  namespaceSelector:
    matchNames:
      - my-ns
  selector:
    matchLabels:
      app.kubernetes.io/component: metrics
      app.kubernetes.io/instance: dev-my-app
      app.kubernetes.io/name: my-app-kafka

Answer 1

最终我完成了以下解决方案：

我使用来自Kafka图表的 jmx 导出器：

values.yaml

kafka:
  metrics:
    kafka:
      enabled: false 
    jmx:
      enabled: true
    serviceMonitor:
      enabled:true
      labels:
       my.super.company/service-monitor: "1.0"

  enabled: true

并将 Kafka 导出器注册为单独的依赖项：

chart.yaml：

  - name: prometheus-kafka-exporter
    version: 1.6.0
    repository: https://prometheus-community.github.io/helm-charts

并手动配置：

values.yaml

prometheus-kafka-exporter:
  kafkaServer:
    - my-kafka-server:9092
  prometheus:
    serviceMonitor:
      enabled: true
      namespace: ""
      additionalLabels:
        my.super.company/service-monitor: "1.0"

Answer 2

Kafka出口商没有在/回复。

这是因为＜code＞web。遥测路径默认为/metrics

https://github.com/danielqsj/kafka_exporter/blob/master/kafka_exporter.go#L700

您的服务监视器混淆了

• 以kafkajmx度量结尾的那个应该有容器=jmx导出器标签
• 以kafka度量结尾的应该具有容器=kafka导出器

目前，您已经展示了在相对的ServiceMonitors中每个容器都有一个。我怀疑这是因为你的标签选择器完全相同，但路径不同。

如果你只有一个Kafka经纪人，你应该只有两个目标。一个JMX出口商（每个经纪人）和一个Kafka出口商
因此，两个经纪人将有3个目标：2个JMX出口商和1个Kafka出口商（因为这是针对整个集群的）。