目录

1.6.6 模型服务监控

优质
小牛编辑
127浏览
2023-12-01

简介

注意:生态云集群Cloud-ML Falcon服务暂未上线。

Cloud-ML修改了tensorflow serving源码,将收集到的qps和lantency数据推送到falcon上。

使用

默认开启监控,可以从http://falcon.srv/中查看监控数据。

数据的endpoint是{org id}-{model name}-{model version}-{容器编号},收集的数据包含qps的p50、p90、p99、p99.9和lantency,数据是1分钟推送一次: