Grafana-大计数器复位后的单统计

Question

我们使用Grafana+Prometheus来监控我们的基础设施，最近我们添加了一些业务重点指标，我一直在跟踪的一个计数器上遇到问题。是会话时间计数器。基本上，每次会话结束时，我们都会增加用户在该会话中花费的时间。因此，如果一个用户使用该软件花费2M，计数器将增加120000毫秒。有几天，这种方法非常有效，但自从昨天我们在一个实例计数器和其他实例计数器之间出现了很大的差异，并且由于部分服务被重新启动，那个大计数器被重置，我再也不能得到一个有意义的单个统计面板了。

下面是发生的事情的图表（这个计数器有3个标签，导致超过50个标签组合）

普罗米修斯图

此计数器跟踪的当前所有时间总数为4天期间的13.8年，但自计数器重置以来，我的单个统计指标为24小时期间的-20年（使用diff）或35年（使用range）。如果您不考虑计数器复位，这是没有错的，因为diff和range将查看最小/最大/第一/当前值，但它不再是一个有用的度量。

如果我将时间框架设置为不包括计数器复位，那么Diff和Range都会显示非常接近预期的值（我们的用法是非常线性和可预测的）。

singlestat面板公式如下所示

sum(dyno_app_music_total_user_listen_time{server=~"[[server]]", clusterId=~"[[clusterid]]"})

如何处理singlestat度量的计数器中的重置？

Answer 1

我不确定我是否完全理解您的问题，但如果我必须总结，我理解的是，您有一个包含3个标签的度量（导致50个不同的时间序列），并且您希望显示一个singlestat面板，该面板将所有这些计数器在所有时间内总和在一起。

在Prometheus中处理计数器重置的方法是使用rate()，或者在需要绝对值的情况下使用arge()。因此，您编写查询的方式（假设您希望所有时间的计数器增加的总和）是：

sum(increase(dyno_app_music_total_user_listen_time{...}[100y]))

但是请注意，随着时间的推移，这将变得越来越慢，因为普罗米修斯将不得不返回并加载您所有时间的50个时间序列，然后进行计算。（加载的样本数量将超过Prometheus中配置的限制或可用内存量）。

比这更有用的是（随着时间的推移，你会摆脱“昨天”经历的峰值），而是显示一个在更短的时间范围内你的计数器的变化率的图表：

sum(rate(dyno_app_music_total_user_listen_time{...}[1h]))

这将向您显示（一个近似值），在您可以选择显示在图表上的任何时间范围内，在前一个小时内的平均会话数。