调度 GPU
配置和调度 GPU 成一类资源以供集群中节点使用。
特性状态: Kubernetes v1.10 [beta]
Kubernetes 支持对若干节点上的 GPU(图形处理单元)进行管理,目前处于实验状态。
本页介绍用户如何使用 GPU 以及当前存在的一些限制。
使用设备插件
Kubernetes 实现了设备插件(Device Plugin) 以允许 Pod 访问类似 GPU 这类特殊的硬件功能特性。
说明: 本部分链接到提供 Kubernetes 所需功能的第三方项目。Kubernetes 项目作者不负责这些项目。此页面遵循CNCF 网站指南,按字母顺序列出项目。要将项目添加到此列表中,请在提交更改之前阅读内容指南。
作为集群管理员,你要在节点上安装来自对应硬件厂商的 GPU 驱动程序,并运行来自 GPU 厂商的对应设备插件。
一旦你安装了插件,你的集群就会暴露一个自定义可调度的资源,例如 amd.com/gpu
或 nvidia.com/gpu
。
你可以通过请求这个自定义的 GPU 资源在你的容器中使用这些 GPU,其请求方式与请求 cpu
或 memory
时相同。 不过,在如何指定自定义设备的资源请求方面存在一些限制。
- GPU 只能在
limits
部分指定,这意味着:- 你可以指定 GPU 的
limits
而不指定其requests
,因为 Kubernetes 将默认使用限制 值作为请求值。 - 你可以同时指定
limits
和requests
,不过这两个值必须相等。 - 你不可以仅指定
requests
而不指定limits
。
- 你可以指定 GPU 的
以下是一个 Pod 请求 GPU 的示例清单:
apiVersion: v1
kind: Pod
metadata:
name: example-vector-add
spec:
restartPolicy: OnFailure
containers:
- name: example-vector-add
image: "registry.example/example-vector-add:v42"
resources:
limits:
gpu-vendor.example/example-gpu: 1 # 请求 1 个 GPU
集群内存在不同类型的 GPU
如果集群内部的不同节点上有不同类型的 NVIDIA GPU, 那么你可以使用节点标签和节点选择器来将 Pod 调度到合适的节点上。
例如:
# 为你的节点加上它们所拥有的加速器类型的标签
kubectl label nodes node1 accelerator=example-gpu-x100
kubectl label nodes node2 accelerator=other-gpu-k915
这个标签键 accelerator
只是一个例子;如果你愿意,可以使用不同的标签键。
自动节点标签
如果你在使用 AMD GPU,你可以部署 Node Labeller, 它是一个 控制器, 会自动给节点打上 GPU 设备属性标签。目前支持的属性:
- 设备 ID (-device-id)
- VRAM 大小 (-vram)
- SIMD 数量(-simd-count)
- 计算单位数量(-cu-count)
- 固件和特性版本 (-firmware)
- GPU 系列,两个字母的首字母缩写(-family)
- SI - Southern Islands
- CI - Sea Islands
- KV - Kaveri
- VI - Volcanic Islands
- CZ - Carrizo
- AI - Arctic Islands
- RV - Raven
kubectl describe node cluster-node-23
Name: cluster-node-23
Roles: <none>
Labels: beta.amd.com/gpu.cu-count.64=1
beta.amd.com/gpu.device-id.6860=1
beta.amd.com/gpu.family.AI=1
beta.amd.com/gpu.simd-count.256=1
beta.amd.com/gpu.vram.16G=1
kubernetes.io/arch=amd64
kubernetes.io/os=linux
kubernetes.io/hostname=cluster-node-23
Annotations: node.alpha.kubernetes.io/ttl: 0
…
使用了 Node Labeller 的时候,你可以在 Pod 的规约中指定 GPU 的类型:
apiVersion: v1
kind: Pod
metadata:
name: cuda-vector-add
spec:
restartPolicy: OnFailure
containers:
- name: cuda-vector-add
# https://github.com/kubernetes/kubernetes/blob/v1.7.11/test/images/nvidia-cuda/Dockerfile
image: "registry.k8s.io/cuda-vector-add:v0.1"
resources:
limits:
nvidia.com/gpu: 1
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
– matchExpressions:
– key: beta.amd.com/gpu.family.AI # Arctic Islands GPU 系列
operator: Exist
这能够保证 Pod 能够被调度到你所指定类型的 GPU 的节点上去。