在Prometheus中将实例重新标记为主机名

Question

我有普罗米修斯从几个机器上的节点导出器中抓取指标，配置如下：

scrape_configs:
  - job_name: node_exporter
    static_configs:
      - targets:
        - 1.2.3.4:9100
        - 2.3.4.5:9100
        - 3.4.5.6:9100

在Grafana中查看时，这些实例被分配了毫无意义的IP地址；相反，我更愿意看到他们的主机名。我认为您应该能够重新标记实例标签以匹配节点的主机名，因此我尝试使用如下重新标记规则，但没有任何效果：

relabel_configs:
  - source_labels: ['nodename']
    target_label: 'instance'

我可以手动重新标记每个目标，但这需要将每个主机名硬编码到Prometheus中，这不是很好。我看到节点导出器提供了包含主机名的度量值node\u uname\u info，但是如何从中提取它呢？

node_uname_info{domainname="(none)",machine="x86_64",nodename="myhostname",release="4.13.0-32-generic",sysname="Linux",version="..."} 1

Answer 1

该解决方案在刮擦时存储具有所需标签的数据，不需要有趣的PromQL查询或硬编码黑客。它通过用relabel_configs替换正则表达式刮取的数据的标签来做到这一点。

默认情况下，实例设置为地址，即$host:$port。

为了将实例标签设置为$host，可以使用relabel_configs来摆脱端口：

  - job_name: 'whatever'
    static_configs:
      - targets: [
            'yourhost.lol:9001'
        ]
    relabel_configs:
      - source_labels: [__address__]
        target_label: instance
        regex: '([^:]+)(:[0-9]+)?'
        replacement: '${1}'

但上述内容也会覆盖这样设置的标签，例如文件\u sd\u configs：

[
    {
        "targets": ['yourhost.lol:9001'],
        "labels": {
            "instance": 'node42'
        }
    }
]

如果要保留这些标签，可以通过以下方式执行重新标签\u configs：

  - job_name: 'rolf'
    metrics_path: /metric/rolf
    file_sd_configs:
      - files:
        - rolf_exporter_targets.yml
    relabel_configs:
      - source_labels: [instance]
        target_label: __tmp_instance
        regex: '(.+)'
        replacement: '${1};'
      - source_labels: [__tmp_instance, __address__]
        separator: ''
        target_label: instance
        regex: '([^:;]+)((:[0-9]+)?|;(.*))'
        replacement: '${1}'

然后从sd_configs手动设置的实例优先，但是如果没有设置，端口仍然被剥离。

Answer 2

我找到了硬代码解决方案：

    global:
      scrape_interval: 5s
      scrape_timeout: 5s
      external_labels:
        monitor: 'Prometheus'

    scrape_configs:

    - job_name: 'shelby'
      static_configs:
      - targets:
        - 10.100.0.01:9100
      relabel_configs:
      - source_labels: [__address__]
        regex: '.*'
        target_label: instance
        replacement: 'shelby'

    - job_name: 'camaro'
      static_configs:
      - targets:
        - 10.101.0.02:9100
      relabel_configs:
      - source_labels: [__address__]
        regex: '.*'
        target_label: instance
        replacement: 'camaro'

    - job_name: 'verona'
      static_configs:
      - targets:
        - 10.101.0.03:9100
      relabel_configs:
      - source_labels: [__address__]
        regex: '.*'
        target_label: instance
        replacement: 'verona'

结果：

    node_load15{instance="camaro",job="camaro"}    0.16
    node_load15{instance="shelby",job="shelby"}    0.4
    node_load15{instance="verona",job="verona"}    0.07

Answer 3

我只是遇到了这个问题，解决办法是用group_left来解决这个问题。您不能在请求中使用不存在的值重新标记，您只能使用您给prometheus的不同参数或请求的模块使用中存在的参数（gcp，aws...）。

因此，我使用的解决方案是将包含我们想要的内容（host nmame）的现有值与节点导出器中的度量值相结合。我们的答案存在于包含节点名值的node_uname_info指标中。

我用这篇文章的答案作为我请求的范本：https://stackoverflow.com/a/50357418 .

解决办法是这样的：

node_memory_Active * on(instance) group_left(nodename) (node_uname_info)

这样，node_memory_Active度量标准默认只包含实例和作业作为第三个值节点名，您可以在grafana的描述字段中使用它。

希望这对其他人有所帮助。