使用多副本和负载均衡

简介

Xiaomi Cloud-ML模型服务支持多副本和负载均衡，用户创建模型服务时指定副本数，又平台创建多副本实例并且实现负载均衡功能，用户可以像使用单节点服务一样访问整个集群。

使用多副本功能

用户创建模型服务时加入 -r 参数即可自动创建多副本实例和负载均衡。

  1. cloudml models create -n linear -v v1 -u fds://cloud-ml/linear -r 3

对已创建的模型服务调整副本个数

可以使用models的update功能

  1. cloudml models update -r 3 linear 1

参数介绍

  • -r 参数表示使用的副本数，注意副本数越多会占用的Quota配额。

原文: http://docs.api.xiaomi.com/cloud-ml/modelservice/04_use_replica.html