大计数器复位后的单统计

Question

我们使用Grafana Prometheus来监控我们的架构体系，最近我们添加了一些以业务为中心的指标，我们跟踪的一个计数器出现了问题。这是一个会话时间计数器。基本上，每次会话结束时，我们都会根据用户在该会话中花费的时间增加计数器。因此，如果用户花费2m使用该软件，计数器将增加120000毫秒。几天来，这种方法运行得非常好，但是从昨天开始，当我们在一个实例计数器和其他实例计数器之间有一个很大的差异，并且那个大计数器由于部分服务被重新启动而被重置时，我找不到一个有意义的单一统计面板不再。

下面是发生的情况的图表（此计数器有3个标签，导致

普罗米修斯图

该计数器跟踪的当前所有时间总计为13.8年，持续4天，但自计数器重置后，我的单个统计指标在24小时内为-20年（使用差异）或35年（使用范围）。如果不考虑计数器重置，这是正确的，因为diff和range将查看min/max/first/current值，但它不再是有用的度量。

如果我将时间范围设置为不包括计数器重置，则Diff和Range显示的值与预期值非常接近（我们的使用非常线性且可预测）。

singlestat面板公式如下所示

sum(dyno_app_music_total_user_listen_time{server=~"[[server]]", clusterId=~"[[clusterid]]"})

如何处理单统计指标的计数器中的重置？

Answer 1

我不确定我是否完全理解您的问题，但如果我必须总结一下，我所理解的是，您有一个带有3个标签的度量（导致50个不同的时间序列），并且您希望显示一个singlestat面板，将所有时间内的所有计数器相加。

在Prometheus中，处理计数器重置的方法是使用rell（），或者，如果您想要绝对值add（）。因此，您编写查询的方式（假设您希望计数器始终增加）是：

sum(increase(dyno_app_music_total_user_listen_time{...}[100y]))

然而，请注意，随着时间的推移，这将变得越来越慢，因为普罗米修斯将不得不在进行计算之前返回并加载您的50个时间序列。（加载的样本数将超过Prometheus中配置的限制或可用存储器的数量）。

可能比这更有用的（随着时间的推移，你会摆脱“昨天”经历的峰值）是显示计数器在更短时间范围内的变化率图表：

sum(rate(dyno_app_music_total_user_listen_time{...}[1h]))

这将向您显示（近似）您可以选择显示在图表上的任何时间范围内的前一小时的平均会话数。