【kafka 监控】Kafka_exporter+prometheus 监控kafka数据

一、kafka_exporter 安装步骤：
Kafka_exporter是一款用于将Kafka集群的监控指标暴露给Prometheus的开源工具，可以用于监控Kafka集群的各种状态数据。下面是Kafka_exporter的安装和部署步骤：

环境准备
Java环境：Kafka_exporter需要Java环境支持，您可以在Oracle官网下载和安装Java的最新版本。
Kafka版本：Kafka_exporter支持Kafka 0.8.x到Kafka 2.x版本，您需要根据自己的Kafka版本选择相应的Kafka_exporter版本。
下载Kafka_exporter
您可以在Kafka_exporter的官方网站（https://github.com/danielqsj/kafka_exporter/releases）上下载最新版本的Kafka_exporter。

配置Kafka_exporter
将下载的Kafka_exporter压缩包解压后，进入Kafka_exporter的conf目录，编辑kafka.yml文件，配置相应的参数，例如：

global:
  scrape_interval:     15s
  evaluation_interval: 15s

server:
  port: 9308

kafka:
  - host: "localhost"
    port: 9092
    version: "2.2.0"

其中，global配置指定了数据采集的时间间隔；server配置指定了Kafka_exporter的暴露端口；kafka配置指定了Kafka集群的地址和版本。

启动Kafka_exporter
在Kafka_exporter的bin目录下，执行以下命令启动Kafka_exporter：

./kafka_exporter.sh start

启动成功后，Kafka_exporter会将采集到的监控指标数据暴露给Prometheus。您可以在Prometheus的配置文件中添加以下内容来抓取Kafka_exporter暴露的指标：

scrape_configs:
  - job_name: 'kafka'
    scrape_interval: 15s
    static_configs:
      - targets: ['localhost:9308']

以上配置指定了Prometheus抓取Kafka_exporter暴露的监控指标数据，并以15秒的时间间隔进行采集。

总之，安装和部署Kafka_exporter需要先准备好环境和配置文件，并启动Kafka_exporter将监控数据暴露给Prometheus。通过Prometheus的查询和可视化功能，您可以对Kafka集群进行监控和管理，以保证Kafka集群的稳定性和高可用性

二、Kafka_exporter暴露的监控指标数据
Kafka_exporter是一个开源的Kafka监控指标采集程序，它将采集到的监控指标数据暴露给Prometheus，供Prometheus进行数据存储、查询、分析和可视化。以下是一些常用的PromSQL语句，可以用来查询Kafka_exporter暴露的监控指标数据：

查询Kafka集群的Broker数量：

kafka_broker_count

查询指定Kafka主题的分区数量：

kafka_topic_partition_count{topic="your_topic_name"}

查询指定Kafka分区的Leader副本ID：

kafka_partition_leader{topic="your_topic_name",partition="your_partition_id"}

查询指定Kafka主题的消息生产情况：

rate(kafka_topic_log_size{topic="your_topic_name"}[1h])

查询指定Kafka消费者组的消费速率：

sum(rate(kafka_consumer_records_consumed_total{group_id="your_group_id"}[1m]))

注意，以上仅是一些常用的PromSQL语句，您可以根据自己的需求和实际情况，编写更加复杂和具有针对性的查询语句。同时，您也可以在Prometheus中使用图形化界面来构建和执行查询语句，以获得更加可视化和直观的查询结果。