开发环境使用流程

注意：

因为开发环境依赖的Docker进程在使用的过程中可能被重启，重启后数据无法保留。开发环境支持挂载FDS bucket到本地目，该目录存储的文件会自动同步到FDS，建议把重要的数据文件存放到该目录。 参考使用FDS FUSE存储

简介

Xiaomi Cloud-ML集成了开发环境功能。每一个开发环境是一个容器实例，容器屏蔽了底层硬件差异，预安装了深度学习框架，方便用户进行开发测试。

开发环境的概念

  • 每一个开发环境(DevEnv)是一个容器实例，Cloud-ML根据用户指定的深度学习框架/CPU/内存/GPU等参数，根据调度策略分配容器到集群中一台宿主机上。
  • 支持通过命令行工具，SDK或者web控制台两种方式，管理开发环境实例。
  • 开发环境通过您账户的AK/SK进行身份验证，并通过资源配额限制实例的大小和数量。
  • 支持多种深度学习框架，包括Tensorflow, Caffe, Keras，Kaldi等，详细列表请使用命令行工具或web控制台查看。
  • 支持使用用户自定义镜像创建开发环境，用户可以在自定义镜像内安装配置所需软件环境。
  • 支持多种实例规格，用户可以根据需求指定实例的CPU/内存/GPU大小。
  • 支持设置开发环境对外开放的端口和防火墙策略，默认开放SSH和Jupyter访问。
  • 支持挂载FDS bucket到本地目录(默认/fds)，提供可靠的文件存储。

    开始使用

创建开发环境，必须申请Quota，流程请参考http://docs.api.xiaomi.com/cloud-ml/usage/request_quota.html命令行工具，SDK或者web控制台的安装和入口，请参考http://docs.api.xiaomi.com/cloud-ml/client/。

基本的开发环境使用过程如下：

第一步，创建开发环境，使用命令行工具提交dev创建请求，或者在web控制台点击创建开发环境实例。

第二步，查看开发环境，开发环境经过排队-调度-创建过程后，进入running状态，标识该实例创建完成。

第三步，登录开发环境，根据开发环境的IP和端口，SSH连接登录到开发环境。

第四步，进行开发测试，SSH连接到开发环境后，用户可以像使用本地机器一样，进行各种开发测试工作，包括软件安装，代码编写，训练，模型导出等。

第五步，关闭开发环境，开发环境实例使用完毕后，用户可以使用命令行工具或者在web控制台删除该实例。

下一章，将详细介绍创建和管理开发环境的步骤。

注意事项

  • 开发环境可能会发生迁移重启，使用时尽可能避免存放重要数据。持久化数据建议通过FUSE存放到FDS。

原文: http://docs.api.xiaomi.com/cloud-ml/devenv/01_use_dev_env.html