使用Prometheus中的指标监控批处理作业的状态

Question

我们的几个应用程序具有每天晚上聚合数据的批处理作业。这些批处理作业是Python脚本，使用Prometheus Pushgateway将度量值推送到Prometheus，我们有一些规则，当这些度量值变得无效（例如，超过某个阈值）时，会触发警报（在Alertmanager中）。

我们现在还想使用Prometheus指标来仔细检查批处理作业本身是否正确运行：例如，作业是否按时开始？有任何错误发生吗？这项工作完成了吗？为此，我们希望更改我们的Python脚本，以便在脚本开始和结束时以及发生任何错误时推送一个指标。这确实引起了一些问题：我们有相当多的批处理作业，每个批处理作业有3个指标，为规则/警报创建了大量手动配置；我们还想在Grafana中以图形方式显示状态，但不确定什么是合适的视觉对象会看起来像。

有没有其他人试图解决类似的问题，使用普罗米修斯指标来监控几个批处理作业的状态？你记录了哪些指标，你的警报/规则是什么样子的？你有没有找到一种直观的方法来图形化地显示每个批处理作业的状态？

Answer 1

您可以在处为每个批处理作业公开一个称为“上次运行”的度量。然后，您可以根据作业是否在24小时前运行（或者您的阈值是多少）发出警报。

一个简单的警报是：last_run_at{env=“prod”}

普罗米修斯中的time（）函数对此很有用。文件：https://prometheus.io/docs/prometheus/latest/querying/functions/#time

您不必对每个作业发出警报。您可以对过去24小时内未运行的任何作业发出警报。也可以按环境或任何其他标签进行筛选。

关键是，它不一定非得是1:1的作业才能发出警报。在Grafana中，你也应该能够很容易地将其绘制出来。