容器运行时

FEATURE STATE: Kubernetes v1.6 稳定

该功能是“稳定的”，意味着：

  • 版本名是 vX，其中 X 是整数。
  • 该功能将出现在多个后续释出的软件稳定版中。

Kubernetes 使用容器运行时来实现在 pod 中运行容器。 这是各种运行时的安装说明。

警告:

我们发现 runc 在运行容器，处理系统文件描述符时存在一个漏洞。 恶意容器可以利用此漏洞覆盖 runc 二进制文件的内容，并以此在主机系统的容器上运行任意的命令。

请参考此链接以获取有关此问题的更多信息 cve-2019-5736 : runc vulnerability

适用性

注意：

本文档是为在 Linux 上安装 CRI 的用户编写的。 对于其他操作系统，请查找特定于您平台的文档。

您应该以 root 身份执行本指南中的所有命令。 例如，使用 sudo 前缀命令，或者成为 root 并以该用户身份运行命令。

Cgroup 驱动程序

当某个 Linux 系统发行版使用 systemd 作为其初始化系统时，初始化进程会生成并使用一个 root 控制组 （cgroup），并充当 cgroup 管理器。 systemd 与 cgroup 集成紧密，并将为每个进程分配 cgroup。 您也可以配置容器运行时和 kubelet 使用 cgroupfs。 连同 systemd 一起使用 cgroupfs 意味着将有两个不同的 cgroup 管理器。

控制组用来约束分配给进程的资源。 单个 cgroup 管理器将简化分配资源的视图，并且默认情况下将对可用资源和使用中的资源具有更一致的视图。 当有两个管理器时，最终将对这些资源产生两种视图。 在此领域我们已经看到案例，某些节点配置让 kubelet 和 docker 使用 cgroupfs，而节点上运行的其余进程则使用 systemd；这类节点在资源压力下会变得不稳定。

更改设置，令容器运行时和 kubelet 使用 systemd 作为 cgroup 驱动，以此使系统更为稳定。 请注意在 docker 下设置 native.cgroupdriver=systemd 选项。

警告:

强烈建议不要更改已加入集群的节点的 cgroup 驱动。 如果 kubelet 已经使用某 cgroup 驱动的语义创建了 pod，尝试更改运行时以使用别的 cgroup 驱动，为现有 Pods 重新创建 PodSandbox 时会产生错误。 重启 kubelet 也可能无法解决此类问题。 推荐将工作负载逐出节点，之后将节点从集群中删除并重新加入。

Docker

在您的每台机器上安装 Docker。 推荐安装 19.03.4 版本，但是 1.13.1、17.03、17.06、17.09、18.06 和 18.09 版本也是可以的。 请跟踪 Kubernetes 发行说明中经过验证的 Docker 最新版本变化。

使用以下命令在您的系统上安装 Docker：

  2. <!--
  3. # Install Docker CE
  4. ## Set up the repository:
  5. ### Install packages to allow apt to use a repository over HTTPS
  6. apt-get update && apt-get install \
  7.   apt-transport-https ca-certificates curl software-properties-common
  9. ### Add Docker’s official GPG key
  10. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -
  11. -->
  12. # 安装 Docker CE
  13. ## 设置仓库
  14. ### 安装软件包以允许 apt 通过 HTTPS 使用存储库
  15. apt-get update && apt-get install \
  16.   apt-transport-https ca-certificates curl software-properties-common
  18. ### 新增 Docker 的 官方 GPG 秘钥
  19. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -
  21. <!--
  22. ### Add Docker apt repository.
  23. add-apt-repository \
  24.   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
  25.   $(lsb_release -cs) \
  26.   stable"
  28. ## Install Docker CE.
  29. apt-get update && apt-get install \
  30.   containerd.io=1.2.10-3 \
  31.   docker-ce=5:19.03.4~3-0~ubuntu-$(lsb_release -cs) \
  32.   docker-ce-cli=5:19.03.4~3-0~ubuntu-$(lsb_release -cs)
  34. # Setup daemon.
  35. cat > /etc/docker/daemon.json <<EOF
  36. {
  37.   "exec-opts": ["native.cgroupdriver=systemd"],
  38.   "log-driver": "json-file",
  39.   "log-opts": {
  40.     "max-size": "100m"
  41.   },
  42.   "storage-driver": "overlay2"
  43. }
  44. EOF
  46. mkdir -p /etc/systemd/system/docker.service.d
  47. -->
  48. ### 添加 Docker apt 仓库
  49. add-apt-repository \
  50.   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
  51.   $(lsb_release -cs) \
  52.   stable"
  54. ## 安装 Docker CE
  55. apt-get update && apt-get install docker-ce=18.06.2~ce~3-0~ubuntu
  57. # 设置 daemon
  58. cat > /etc/docker/daemon.json <<EOF
  59. {
  60.   "exec-opts": ["native.cgroupdriver=systemd"],
  61.   "log-driver": "json-file",
  62.   "log-opts": {
  63.     "max-size": "100m"
  64.   },
  65.   "storage-driver": "overlay2"
  66. }
  67. EOF
  69. mkdir -p /etc/systemd/system/docker.service.d
  71. <!--
  72. # Restart docker.
  73. systemctl daemon-reload
  74. systemctl restart docker
  75. -->
  76. # 重启 docker.
  77. systemctl daemon-reload
  78. systemctl restart docker
  3. <!--
  4. # Install Docker CE
  5. ## Set up the repository
  6. ### Install required packages.
  7. yum install yum-utils device-mapper-persistent-data lvm2
  9. ### Add Docker repository.
  10. yum-config-manager \
  11.     --add-repo \
  12.     https://download.docker.com/linux/centos/docker-ce.repo
  14. ## Install Docker CE.
  15. yum update && yum install \
  16.   containerd.io-1.2.10 \
  17.   docker-ce-19.03.4 \
  18.   docker-ce-cli-19.03.4
  20. ## Create /etc/docker directory.
  21. mkdir /etc/docker
  23. # Setup daemon.
  24. cat > /etc/docker/daemon.json <<EOF
  25. {
  26.   "exec-opts": ["native.cgroupdriver=systemd"],
  27.   "log-driver": "json-file",
  28.   "log-opts": {
  29.     "max-size": "100m"
  30.   },
  31.   "storage-driver": "overlay2",
  32.   "storage-opts": [
  33.     "overlay2.override_kernel_check=true"
  34.   ]
  35. }
  36. EOF
  38. mkdir -p /etc/systemd/system/docker.service.d
  39. -->
  40. # 安装 Docker CE
  41. ## 设置仓库
  42. ### 安装所需包
  43. yum install yum-utils device-mapper-persistent-data lvm2
  45. ### 新增 Docker 仓库。
  46. yum-config-manager \
  47.   --add-repo \
  48.   https://download.docker.com/linux/centos/docker-ce.repo
  50. ## 安装 Docker CE.
  51. yum update && yum install docker-ce-18.06.2.ce
  53. ## 创建 /etc/docker 目录。
  54. mkdir /etc/docker
  56. # 设置 daemon。
  57. cat > /etc/docker/daemon.json <<EOF
  58. {
  59.   "exec-opts": ["native.cgroupdriver=systemd"],
  60.   "log-driver": "json-file",
  61.   "log-opts": {
  62.     "max-size": "100m"
  63.   },
  64.   "storage-driver": "overlay2",
  65.   "storage-opts": [
  66.     "overlay2.override_kernel_check=true"
  67.   ]
  68. }
  69. EOF
  71. mkdir -p /etc/systemd/system/docker.service.d
  73. <!--
  74. # Restart Docker
  75. systemctl daemon-reload
  76. systemctl restart docker
  77. -->
  78. # 重启 Docker
  79. systemctl daemon-reload
  80. systemctl restart docker

请参阅官方 Docker 安装指南 来获取更多的信息。

CRI-O

本节包含安装 CRI-O 作为 CRI 运行时的必要步骤。

使用以下命令在系统中安装 CRI-O：

准备环境

  1. modprobe overlay
  2. modprobe br_netfilter
  4. # 设置必需的sysctl参数，这些参数在重新启动后仍然存在。
  5. cat > /etc/sysctl.d/99-kubernetes-cri.conf <<EOF
  6. net.bridge.bridge-nf-call-iptables  = 1
  7. net.ipv4.ip_forward                 = 1
  8. net.bridge.bridge-nf-call-ip6tables = 1
  9. EOF
  11. sysctl --system
  3. <!--
  4. # Install prerequisites
  5. apt-get update
  6. apt-get install software-properties-common
  8. add-apt-repository ppa:projectatomic/ppa
  9. apt-get update
  11. # Install CRI-O
  12. apt-get install cri-o-1.15
  13. -->
  14. # 安装必备软件
  15. apt-get update
  16. apt-get install software-properties-common
  18. add-apt-repository ppa:projectatomic/ppa
  19. apt-get update
  21. # 安装 CRI-O
  22. apt-get install cri-o-1.15
  3. <!--
  4. # Install prerequisites
  5. yum-config-manager --add-repo=https://cbs.centos.org/repos/paas7-crio-115-release/x86_64/os/
  7. # Install CRI-O
  8. yum install --nogpgcheck cri-o
  9. -->
  10. # 安装必备软件
  11. yum-config-manager --add-repo=https://cbs.centos.org/repos/paas7-crio-115-release/x86_64/os/
  13. # 安装 CRI-O
  14. yum install --nogpgcheck cri-o

启动 CRI-O

  1. systemctl start crio

请参阅CRI-O 安装指南 来获取更多的信息。

containerd

本节包含使用 containerd 作为 CRI 运行时的必要步骤。

使用以下命令在系统上安装容器：

准备环境

  1. cat > /etc/modules-load.d/containerd.conf <<EOF
  2. overlay
  3. br_netfilter
  4. EOF
  6. modprobe overlay
  7. modprobe br_netfilter
  9. # 设置必需的sysctl参数，这些参数在重新启动后仍然存在。
  10. cat > /etc/sysctl.d/99-kubernetes-cri.conf <<EOF
  11. net.bridge.bridge-nf-call-iptables  = 1
  12. net.ipv4.ip_forward                 = 1
  13. net.bridge.bridge-nf-call-ip6tables = 1
  14. EOF
  16. sysctl --system

安装 containerd

  2. <!--
  3. # Install containerd
  4. ## Set up the repository
  5. ### Install packages to allow apt to use a repository over HTTPS
  6. apt-get update && apt-get install -y apt-transport-https ca-certificates curl software-properties-common
  8. ### Add Docker’s official GPG key
  9. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -
  11. ### Add Docker apt repository.
  12. add-apt-repository \
  13.     "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
  14.     $(lsb_release -cs) \
  15.     stable"
  17. ## Install containerd
  18. apt-get update && apt-get install -y containerd.io
  20. # Configure containerd
  21. mkdir -p /etc/containerd
  22. containerd config default > /etc/containerd/config.toml
  23. -->
  24. # 安装 containerd
  25. ## 设置仓库
  26. ### 安装软件包以允许 apt 通过 HTTPS 使用存储库
  27. apt-get update && apt-get install -y apt-transport-https ca-certificates curl software-properties-common
  29. ### 安装 Docker 的官方 GPG 密钥
  30. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -
  32. ### 新增 Docker apt 仓库。
  33. add-apt-repository \
  34.     "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
  35.     $(lsb_release -cs) \
  36.     stable"
  38. ## 安装 containerd
  39. apt-get update && apt-get install -y containerd.io
  41. # 配置 containerd
  42. mkdir -p /etc/containerd
  43. containerd config default > /etc/containerd/config.toml
  45. <!--
  46. # Restart containerd
  47. systemctl restart containerd
  48. -->
  49. # 重启 containerd
  50. systemctl restart containerd
  2. <!--
  3. # Install containerd
  4. ## Set up the repository
  5. ### Install required packages
  6. yum install yum-utils device-mapper-persistent-data lvm2
  8. ### Add docker repository
  9. yum-config-manager \
  10.     --add-repo \
  11.     https://download.docker.com/linux/centos/docker-ce.repo
  13. ## Install containerd
  14. yum update && yum install containerd.io
  16. # Configure containerd
  17. mkdir -p /etc/containerd
  18. containerd config default > /etc/containerd/config.toml
  19. -->
  20. # 安装 containerd
  21. ## 设置仓库
  22. ### 安装所需包
  23. yum install yum-utils device-mapper-persistent-data lvm2
  25. ### 新增 Docker 仓库
  26. yum-config-manager \
  27.     --add-repo \
  28.     https://download.docker.com/linux/centos/docker-ce.repo
  30. ## 安装 containerd
  31. yum update && yum install containerd.io
  33. # 配置 containerd
  34. mkdir -p /etc/containerd
  35. containerd config default > /etc/containerd/config.toml
  37. <!--
  38. # Restart containerd
  39. systemctl restart containerd
  40. -->
  41. # 重启 containerd
  42. systemctl restart containerd

systemd

使用 systemd cgroup 驱动，在 /etc/containerd/config.toml 中设置 plugins.cri.systemd_cgroup = true。 当使用 kubeadm 时，请手动配置 kubelet 的 cgroup 驱动

其他的 CRI 运行时：frakti

请参阅 Frakti 快速开始指南 来获取更多的信息。