Xiaomi Cloud-ML模型服务支持多副本和负载均衡,用户创建模型服务时指定副本数,又平台创建多副本实例并且实现负载均衡功能,用户可以像使用单节点服务一样访问整个集群。
用户创建模型服务时加入 -r
参数即可自动创建多副本实例和负载均衡。
cloudml models create -n linear -v v1 -u fds://cloud-ml/linear -r 3
可以使用models的update
功能
cloudml models update -r 3 linear 1
-r
参数表示使用的副本数,注意副本数越多会占用的Quota配额。