Kubeflow on Volcano

最近更新于 Jul 31, 2021

Kubeflow简介

Kubernetes已经成为云原生应用编排、管理的事实标准， 越来越多的应用选择向Kubernetes迁移。人工智能和机器学习领域天然的包含大量的计算密集型任务，开发者非常愿意基于Kubernetes构建AI平台，充分利用Kubernetes提供的资源管理、应用编排、运维监控能力。然而基于Kubernetes构建一个端到端的AI计算平台是非常复杂和繁琐的过程，它需要处理很多个环节。除了我们熟知的模型训练环节之外还包括数据收集、预处理、资源管理、特性提取、数据验证、模型的管理、模型发布、监控等环节。对于一个AI算法工程师来讲，他要做模型训练，就不得不搭建一套AI计算平台，这个过程耗时费力，而且需要很多的知识积累[1]。

Kubeflow - 图1

模型训练工作流

Kubeflow诞生于2017年，Kubeflow项目是基于容器和Kubernetes构建，旨在为数据科学家、机器学习工程师、系统运维人员提供面向机器学习业务的敏捷部署、开发、训练、发布和管理平台。它利用了云原生技术的优势，让用户更快速、方便的部署、使用和管理当前最流行的机器学习软件。

什么场景我们可以使用kubeflow：

  • 希望训练tensorflow模型且可以使用模型接口发布应用服务在k8s环境中(eg.local,prem,cloud)
  • 希望使用Jupyter notebooks来调试代码，多用户的notebook server
  • 在训练的Job中，需要对的CPU或者GPU资源进行调度编排
  • 希望Tensorflow和其他组件进行组合来发布服务

Kubeflow on volcano

Volcano是一款构建于Kubernetes之上的增强型高性能计算任务批量处理系统。作为一个面向高性能计算场景的平台，它弥补了kubernetes在机器学习、深度学习、HPC、大数据计算等场景下的基本能力缺失，其中包括gang-schedule的调度能力、计算任务队列管理、task-topology和GPU亲和性调度。另外，Volcano在原生kubernetes能力基础上对计算任务的批量创建及生命周期管理、fair-share、binpack调度等方面做了增强。Volcano充分解决了上文提到的Kubeflow分布式训练面临的问题。

下载kfctl

首先需要下载kfctl，可以根据系统来选择合适的压缩包文件[1]。

  1. $ tar -xvf kfctl_v1.0.2-0-ga476281_linux.tar.gz
  2. $ sudo mv ./kfctl /usr/local/bin/kfctl

配置环境变量

  1. $ export PATH= $PATH:"<path-to-kfctl>"
  2. $ export KF_NAME=<your choice of name for the Kubeflow deployment>
  3. $ export BASE_DIR=<path to a base directory>
  4. $ export KF_DIR=${BASE_DIR}/${KF_NAME}
  5. $ export CONFIG_URI="https://raw.githubusercontent.com/kubeflow/manifests/v1.0-branch/kfdef/kfctl_k8s_istio.v1.0.2.yaml"

安装kubeflow

  1. $ mkdir -p ${KF_DIR}
  2. $ cd ${KF_DIR}
  3. $ Kfctl apply -V -f ${CONFIG_URI}

通过如下指令确认安装结果

  1. $ kubectl -n kubeflow get all

部署Mnist示例

首先下载kubuflow官方提供的测试集。

  1. git clone https://github.com/kubeflow/examples.git
  1. pip3 install jupyter notebook
  2. jupyter notebook --allow-root ##启动jupyter

启动使用notebook

提供对外接口服务，这里需要将集群下的节点绑定公网IP。如果没有安装notebook请先使用pip3安装。

  1. $ pip3 install jupyter notebook
  2. $ jupyter notebook --allow-root
  3. [W 09:08:03.572 NotebookApp] WARNING: The notebook server is listening on all IP addresses and not using encryption. This is not recommended.
  4. [I 09:08:03.575 NotebookApp] Serving notebooks from local directory: /root/examples
  5. [I 09:08:03.575 NotebookApp] Jupyter Notebook 6.3.0 is running at:
  6. [I 09:08:03.575 NotebookApp] http://mytest-87034:30200/
  7. [I 09:08:03.575 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).

访问公网IP:30200，输入配置密码即可进入notebook。

在notebook上运行官方实例[2]

1.打开notebook进行TFJob的部署。Open the notebook mnist/mnist_vanilla_k8s.ipynb ，根据指引来进行分布式Tf Job的部署。

2.添加调度器字段：在mnist/mnist_vanilla_k8s.ipynb 的Tarining job parameters代码块下的TFJob的配置如下所示，添加schedulerName: volcano字段，确保使用volcano进行调度。

  1. train_spec = f"""apiVersion: kubeflow.org/v1
  2. kind: TFJob
  3. metadata:
  4.   name: {train_name}  
  5. spec:
  6.   schedulerName: volcano
  7.   tfReplicaSpecs:
  8.     Ps:
  9.       replicas: {num_ps}
  10.       template:
  11.         metadata:
  12.           annotations:
  13.             sidecar.istio.io/inject: "false"
  14.         spec:
  15.           serviceAccount: default-editor
  16.           containers:
  17.           - name: tensorflow
  18.             command:
  19.             - python
  20.             - /opt/model.py
  21.             - --tf-model-dir={model_dir}
  22.             - --tf-export-dir={export_path}
  23.             - --tf-train-steps={train_steps}
  24.             - --tf-batch-size={batch_size}
  25.             - --tf-learning-rate={learning_rate}
  26.             env:
  27.             - name: S3_ENDPOINT
  28.               value: {s3_endpoint}
  29.             - name: AWS_ENDPOINT_URL
  30.               value: {minio_endpoint}
  31.             - name: AWS_REGION
  32.               value: {minio_region}
  33.             - name: BUCKET_NAME
  34.               value: {mnist_bucket}
  35.             - name: S3_USE_HTTPS
  36.               value: "0"
  37.             - name: S3_VERIFY_SSL
  38.               value: "0"
  39.             - name: AWS_ACCESS_KEY_ID
  40.               value: {minio_username}
  41.             - name: AWS_SECRET_ACCESS_KEY
  42.               value: {minio_key}
  43.             image: {image}
  44.             workingDir: /opt
  45.           restartPolicy: OnFailure
  46.     Chief:
  47.       replicas: 1
  48.       template:
  49.         metadata:
  50.           annotations:
  51.             sidecar.istio.io/inject: "false"
  52.         spec:
  53.           serviceAccount: default-editor
  54.           containers:
  55.           - name: tensorflow
  56.             command:
  57.             - python
  58.             - /opt/model.py
  59.             - --tf-model-dir={model_dir}
  60.             - --tf-export-dir={export_path}
  61.             - --tf-train-steps={train_steps}
  62.             - --tf-batch-size={batch_size}
  63.             - --tf-learning-rate={learning_rate}
  64.             env:
  65.             - name: S3_ENDPOINT
  66.               value: {s3_endpoint}
  67.             - name: AWS_ENDPOINT_URL
  68.               value: {minio_endpoint}
  69.             - name: AWS_REGION
  70.               value: {minio_region}
  71.             - name: BUCKET_NAME
  72.               value: {mnist_bucket}
  73.             - name: S3_USE_HTTPS
  74.               value: "0"
  75.             - name: S3_VERIFY_SSL
  76.               value: "0"
  77.             - name: AWS_ACCESS_KEY_ID
  78.               value: {minio_username}
  79.             - name: AWS_SECRET_ACCESS_KEY
  80.               value: {minio_key}
  81.             image: {image}
  82.             workingDir: /opt
  83.           restartPolicy: OnFailure
  84.     Worker:
  85.       replicas: 1
  86.       template:
  87.         metadata:
  88.           annotations:
  89.             sidecar.istio.io/inject: "false"
  90.         spec:
  91.           serviceAccount: default-editor
  92.           containers:
  93.           - name: tensorflow
  94.             command:
  95.             - python
  96.             - /opt/model.py
  97.             - --tf-model-dir={model_dir}
  98.             - --tf-export-dir={export_path}
  99.             - --tf-train-steps={train_steps}
  100.             - --tf-batch-size={batch_size}
  101.             - --tf-learning-rate={learning_rate}
  102.             env:
  103.             - name: S3_ENDPOINT
  104.               value: {s3_endpoint}
  105.             - name: AWS_ENDPOINT_URL
  106.               value: {minio_endpoint}
  107.             - name: AWS_REGION
  108.               value: {minio_region}
  109.             - name: BUCKET_NAME
  110.               value: {mnist_bucket}
  111.             - name: S3_USE_HTTPS
  112.               value: "0"
  113.             - name: S3_VERIFY_SSL
  114.               value: "0"
  115.             - name: AWS_ACCESS_KEY_ID
  116.               value: {minio_username}
  117.             - name: AWS_SECRET_ACCESS_KEY
  118.               value: {minio_key}
  119.             image: {image}
  120.             workingDir: /opt
  121.           restartPolicy: OnFailure
  122. """

3.提交作业

  1. kubectl apply -f mnist.yaml