注意:生态云集群Cloud-ML Falcon服务暂未上线。
Cloud-ML修改了tensorflow serving源码,将收集到的qps和lantency数据推送到falcon上。
默认开启监控,可以从http://falcon.srv/中查看监控数据。
http://falcon.srv/
数据的endpoint是{org id}-{model name}-{model version}-{容器编号},收集的数据包含qps的p50、p90、p99、p99.9和lantency,数据是1分钟推送一次:
{org id}-{model name}-{model version}-{容器编号}