容器运行时

你需要在集群内每个节点上安装一个 容器运行时 以使 Pod 可以运行在上面。本文概述了所涉及的内容并描述了与节点设置相关的任务。

本文列出了在 Linux 上结合 Kubernetes 使用的几种通用容器运行时的详细信息：

提示：对于其他操作系统，请查阅特定于你所使用平台的相关文档。

Cgroup 驱动程序

控制组用来约束分配给进程的资源。

当某个 Linux 系统发行版使用 systemd 作为其初始化系统时，初始化进程会生成并使用一个 root 控制组 (cgroup), 并充当 cgroup 管理器。 Systemd 与 cgroup 集成紧密，并将为每个 systemd 单元分配一个 cgroup。 你也可以配置容器运行时和 kubelet 使用 cgroupfs。 连同 systemd 一起使用 cgroupfs 意味着将有两个不同的 cgroup 管理器。

单个 cgroup 管理器将简化分配资源的视图，并且默认情况下将对可用资源和使用中的资源具有更一致的视图。 当有两个管理器共存于一个系统中时，最终将对这些资源产生两种视图。 在此领域人们已经报告过一些案例，某些节点配置让 kubelet 和 docker 使用 cgroupfs，而节点上运行的其余进程则使用 systemd; 这类节点在资源压力下会变得不稳定。

更改设置，令容器运行时和 kubelet 使用 systemd 作为 cgroup 驱动，以此使系统更为稳定。 对于 Docker, 设置 native.cgroupdriver=systemd 选项。

注意：非常 不 建议更改已加入集群的节点的 cgroup 驱动。 如果 kubelet 已经使用某 cgroup 驱动的语义创建了 pod，更改运行时以使用别的 cgroup 驱动，当为现有 Pods 重新创建 PodSandbox 时会产生错误。重启 kubelet 也可能无法解决此类问题。 如果你有切实可行的自动化方案，使用其他已更新配置的节点来替换该节点，或者使用自动化方案来重新安装。

容器运行时

注意： 本部分链接到提供 Kubernetes 所需功能的第三方项目。Kubernetes 项目作者不负责这些项目。此页面遵循CNCF 网站指南，按字母顺序列出项目。要将项目添加到此列表中，请在提交更改之前阅读内容指南。

containerd

本节包含使用 containerd 作为 CRI 运行时的必要步骤。

使用以下命令在系统上安装容器：

安装和配置的先决条件：

  1. cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
  2. overlay
  3. br_netfilter
  4. EOF
  6. sudo modprobe overlay
  7. sudo modprobe br_netfilter
  9. # 设置必需的 sysctl 参数，这些参数在重新启动后仍然存在。
  10. cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
  11. net.bridge.bridge-nf-call-iptables  = 1
  12. net.ipv4.ip_forward                 = 1
  13. net.bridge.bridge-nf-call-ip6tables = 1
  14. EOF
  16. # Apply sysctl params without reboot
  17. sudo sysctl --system

安装 containerd:

  1. # (安装 containerd)
  2. ## (设置仓库)
  3. ### (安装软件包以允许 apt 通过 HTTPS 使用存储库)
  4. sudo apt-get update && sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common
  1. ## 安装 Docker 的官方 GPG 密钥
  2. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key --keyring /etc/apt/trusted.gpg.d/docker.gpg add -
  1. ## 新增 Docker apt 仓库。
  2. sudo add-apt-repository \
  3.     "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
  4.     $(lsb_release -cs) \
  5.     stable"
  1. ## 安装 containerd
  2. sudo apt-get update && sudo apt-get install -y containerd.io
  1. # 配置 containerd
  2. sudo mkdir -p /etc/containerd
  3. sudo containerd config default > /etc/containerd/config.toml
  1. # 重启 containerd
  2. sudo systemctl restart containerd
  1. # 安装 containerd
  2. ## 设置仓库
  3. ### 安装所需包
  4. sudo yum install -y yum-utils device-mapper-persistent-data lvm2
  1. ### 新增 Docker 仓库
  2. sudo yum-config-manager \
  3.     --add-repo \
  4.     https://download.docker.com/linux/centos/docker-ce.repo
  1. ## 安装 containerd
  2. sudo yum update -y && sudo yum install -y containerd.io
  1. # 配置 containerd
  2. sudo mkdir -p /etc/containerd
  3. sudo containerd config default > /etc/containerd/config.toml
  1. # 重启 containerd
  2. sudo systemctl restart containerd
  1. # （安装 containerd ）
  2. # 下载 contianerd
  3. cmd /c curl -OL https://github.com/containerd/containerd/releases/download/v1.4.0-beta.2/containerd-1.4.0-beta.2-windows-amd64.tar.gz
  4. cmd /c tar xvf .\containerd-1.4.0-beta.2-windows-amd64.tar.gz
  1. # 解压并配置
  2. Copy-Item -Path ".\bin\" -Destination "$Env:ProgramFiles\containerd" -Recurse -Force
  3. cd $Env:ProgramFiles\containerd\
  4. .\containerd.exe config default | Out-File config.toml -Encoding ascii
  6. # 检查配置文件，基于你可能想要调整的设置：
  7. # - sandbox_image (kubernetes pause 镜像)
  8. # - CNI 的 bin_dir 和 conf_dir 路径
  9. Get-Content config.toml
  1. # 启动 containerd
  2. .\containerd.exe --register-service
  3. Start-Service containerd

systemd

结合 runc 使用 systemd cgroup 驱动，在 /etc/containerd/config.toml 中设置

  1. [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  2.   ...
  3.   [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
  4.     SystemdCgroup = true

当使用 kubeadm 时，请手动配置 kubelet 的 cgroup 驱动.

CRI-O

本节包含安装 CRI-O 作为容器运行时的必要步骤。

使用以下命令在系统中安装 CRI-O：

提示：CRI-O 的主要以及次要版本必须与 Kubernetes 的主要和次要版本相匹配。 更多信息请查阅 CRI-O 兼容性列表.

安装以及配置的先决条件：

  1. sudo modprobe overlay
  2. sudo modprobe br_netfilter
  4. # 设置必需的 sysctl 参数，这些参数在重新启动后仍然存在。
  5. cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
  6. net.bridge.bridge-nf-call-iptables  = 1
  7. net.ipv4.ip_forward                 = 1
  8. net.bridge.bridge-nf-call-ip6tables = 1
  9. EOF
  11. sudo sysctl --system

在下列操作系统上安装 CRI-O, 使用下表中合适的值设置环境变量 OS:

操作系统$OS
Debian UnstableDebian_Unstable
Debian TestingDebian_Testing

然后，将 $VERSION 设置为与你的 Kubernetes 相匹配的 CRI-O 版本。 例如，如果你要安装 CRI-O 1.18, 请设置 VERSION=1.18. 你也可以安装一个特定的发行版本。 例如要安装 1.18.3 版本，设置 VERSION=1.18:1.18.3.

然后执行

  1. cat <<EOF | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable.list
  2. deb https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/ /
  3. EOF
  4. cat <<EOF | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable:cri-o:$VERSION.list
  5. deb http://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable:/cri-o:/$VERSION/$OS/ /
  6. EOF
  8. curl -L https://download.opensuse.org/repositories/devel:kubic:libcontainers:stable:cri-o:$VERSION/$OS/Release.key | sudo apt-key add --keyring /etc/apt/trusted.gpg.d/libcontainers.gpg -
  9. curl -L https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/Release.key | sudo apt-key add --keyring /etc/apt/trusted.gpg.d/libcontainers.gpg -
  11. sudo apt-get update
  12. sudo apt-get install cri-o cri-o-runc

在下列操作系统上安装 CRI-O, 使用下表中合适的值设置环境变量 OS:

操作系统$OS
Ubuntu 20.04xUbuntu_20.04
Ubuntu 19.10xUbuntu_19.10
Ubuntu 19.04xUbuntu_19.04
Ubuntu 18.04xUbuntu_18.04

然后，将 $VERSION 设置为与你的 Kubernetes 相匹配的 CRI-O 版本。 例如，如果你要安装 CRI-O 1.18, 请设置 VERSION=1.18. 你也可以安装一个特定的发行版本。 例如要安装 1.18.3 版本，设置 VERSION=1.18:1.18.3.

然后执行

  1. cat <<EOF | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable.list
  2. deb https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/ /
  3. EOF
  4. cat <<EOF | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable:cri-o:$VERSION.list
  5. deb http://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable:/cri-o:/$VERSION/$OS/ /
  6. EOF
  8. curl -L https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/Release.key | sudo apt-key add --keyring /etc/apt/trusted.gpg.d/libcontainers.gpg
  9. curl -L https://download.opensuse.org/repositories/devel:kubic:libcontainers:stable:cri-o:$VERSION/$OS/Release.key | sudo apt-key add --keyring /etc/apt/trusted.gpg.d/libcontainers-cri-o.gpg -
  11. sudo apt-get update
  12. sudo apt-get install cri-o cri-o-runc

在下列操作系统上安装 CRI-O, 使用下表中合适的值设置环境变量 OS:

操作系统$OS
Centos 8CentOS_8
Centos 8 StreamCentOS_8_Stream
Centos 7CentOS_7

然后，将 $VERSION 设置为与你的 Kubernetes 相匹配的 CRI-O 版本。 例如，如果你要安装 CRI-O 1.18, 请设置 VERSION=1.18. 你也可以安装一个特定的发行版本。 例如要安装 1.18.3 版本，设置 VERSION=1.18:1.18.3.

然后执行

  1. sudo curl -L -o /etc/yum.repos.d/devel:kubic:libcontainers:stable.repo https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/devel:kubic:libcontainers:stable.repo
  2. sudo curl -L -o /etc/yum.repos.d/devel:kubic:libcontainers:stable:cri-o:$VERSION.repo https://download.opensuse.org/repositories/devel:kubic:libcontainers:stable:cri-o:$VERSION/$OS/devel:kubic:libcontainers:stable:cri-o:$VERSION.repo
  3. sudo yum install cri-o
  1. sudo zypper install cri-o

将 $VERSION 设置为与你的 Kubernetes 相匹配的 CRI-O 版本。 例如，如果要安装 CRI-O 1.18，请设置 VERSION=1.18。 你可以用下列命令查找可用的版本：

  1. sudo dnf module list cri-o

CRI-O 不支持在 Fedora 上固定到特定的版本。

然后执行

  1. sudo dnf module enable cri-o:$VERSION
  2. sudo dnf install cri-o

启动 CRI-O:

  1. sudo systemctl daemon-reload
  2. sudo systemctl start crio

更多信息请参阅 CRI-O 安装指南。

Docker

在你每个节点上安装 Docker CE.

Kubernetes 发行说明中列出了 Docker 的哪些版本与该版本的 Kubernetes 相兼容。

在你的操作系统上使用如下命令安装 Docker:

  1. # (安装 Docker CE)
  2. ## 设置仓库:
  3. ### 安装软件包以允许 apt 通过 HTTPS 使用存储库
  4. sudo apt-get update && sudo apt-get install -y \
  5.   apt-transport-https ca-certificates curl software-properties-common gnupg2
  1. ### 新增 Docker 的 官方 GPG 秘钥:
  2. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add --keyring /etc/apt/trusted.gpg.d/docker.gpg -
  1. ### 添加 Docker apt 仓库:
  2. sudo add-apt-repository \
  3.   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
  4.   $(lsb_release -cs) \
  5.   stable"
  1. ## 安装 Docker CE
  2. sudo apt-get update && sudo apt-get install -y \
  3.   containerd.io=1.2.13-2 \
  4.   docker-ce=5:19.03.11~3-0~ubuntu-$(lsb_release -cs) \
  5.   docker-ce-cli=5:19.03.11~3-0~ubuntu-$(lsb_release -cs)
  1. # 设置 Docker daemon
  2. cat <<EOF | sudo tee /etc/docker/daemon.json
  3. {
  4.   "exec-opts": ["native.cgroupdriver=systemd"],
  5.   "log-driver": "json-file",
  6.   "log-opts": {
  7.     "max-size": "100m"
  8.   },
  9.   "storage-driver": "overlay2"
  10. }
  11. EOF
  1. # Create /etc/systemd/system/docker.service.d
  2. sudo mkdir -p /etc/systemd/system/docker.service.d
  1. # 重启 docker.
  2. sudo systemctl daemon-reload
  3. sudo systemctl restart docker
  1. # (安装 Docker CE)
  2. ## 设置仓库
  3. ### 安装所需包
  4. sudo yum install -y yum-utils device-mapper-persistent-data lvm2
  1. ### 新增 Docker 仓库
  2. sudo yum-config-manager --add-repo \
  3.   https://download.docker.com/linux/centos/docker-ce.repo
  1. ## 安装 Docker CE
  2. sudo yum update -y && sudo yum install -y \
  3.   containerd.io-1.2.13 \
  4.   docker-ce-19.03.11 \
  5.   docker-ce-cli-19.03.11
  1. ## 创建 /etc/docker 目录
  2. sudo mkdir /etc/docker
  1. # 设置 Docker daemon
  2. cat <<EOF | sudo tee /etc/docker/daemon.json
  3. {
  4.   "exec-opts": ["native.cgroupdriver=systemd"],
  5.   "log-driver": "json-file",
  6.   "log-opts": {
  7.     "max-size": "100m"
  8.   },
  9.   "storage-driver": "overlay2",
  10.   "storage-opts": [
  11.     "overlay2.override_kernel_check=true"
  12.   ]
  13. }
  14. EOF
  1. # Create /etc/systemd/system/docker.service.d
  2. sudo mkdir -p /etc/systemd/system/docker.service.d
  1. # 重启 Docker
  2. sudo systemctl daemon-reload
  3. sudo systemctl restart docker

如果你想开机即启动 docker 服务，执行以下命令：

  1. sudo systemctl enable docker

请参阅 官方 Docker 安装指南 来获取更多的信息。