Kubernetes 云管理控制器

特性状态： Kubernetes v1.11 [beta]

由于云驱动的开发和发布的步调与 Kubernetes 项目不同，将服务提供商专用代码抽象到 [cloud-controller-manager]($de5397af4ed17436.md "将 Kubernetes 与第三方云提供商进行集成的控制平面组件。") 二进制中有助于云服务厂商在 Kubernetes 核心代码之外独立进行开发。

cloud-controller-manager 可以被链接到任何满足 cloudprovider.Interface 约束的云服务提供商。为了兼容旧版本，Kubernetes 核心项目中提供的 cloud-controller-manager 使用和 kube-controller-manager 相同的云服务类库。 已经在 Kubernetes 核心项目中支持的云服务提供商预计将通过使用 in-tree 的 cloud-controller-manager 过渡为非 Kubernetes 核心代码。

管理

需求

每个云服务都有一套各自的需求用于系统平台的集成，这不应与运行 kube-controller-manager 的需求有太大差异。作为经验法则，你需要：

  • 云服务认证/授权：你的云服务可能需要使用令牌或者 IAM 规则以允许对其 API 的访问
  • kubernetes 认证/授权：cloud-controller-manager 可能需要 RBAC 规则以访问 kubernetes apiserver
  • 高可用：类似于 kube-controller-manager，你可能希望通过主节点选举（默认开启）配置一个高可用的云管理控制器。

运行云管理控制器

你需要对集群配置做适当的修改以成功地运行云管理控制器：

  • kubelet、kube-apiserver 和 kube-controller-manager 必须根据用户对外部 CCM 的使用进行设置。 如果用户有一个外部的 CCM（不是 Kubernetes 控制器管理器中的内部云控制器回路）， 那么必须添加 --cloud-provider=external 参数。否则，不应添加此参数。

请记住，设置集群使用云管理控制器将用多种方式更改集群行为：

  • 指定了 --cloud-provider=external 的组件将被添加一个 node.cloudprovider.kubernetes.io/uninitialized 的污点，导致其在初始化过程中不可调度（NoSchedule）。 这将标记该节点在能够正常调度前，需要外部的控制器进行二次初始化。 请注意，如果云管理控制器不可用，集群中的新节点会一直处于不可调度的状态。 这个污点很重要，因为调度器可能需要关于节点的云服务特定的信息，比如他们的区域或类型 （高端 CPU、GPU 支持、内存较大、临时实例等）。

  • 集群中节点的云服务信息将不再能够从本地元数据中获取，取而代之的是所有获取节点信息的 API 调用都将通过云管理控制器。这意味着你可以通过限制到 kubelet 云服务 API 的访问来提升安全性。 在更大的集群中你可能需要考虑云管理控制器是否会遇到速率限制， 因为它现在负责集群中几乎所有到云服务的 API 调用。

云管理控制器可以实现：

  • 节点控制器 - 负责使用云服务 API 更新 kubernetes 节点并删除在云服务上已经删除的 kubernetes 节点。
  • 服务控制器 - 负责在云服务上为类型为 LoadBalancer 的 service 提供负载均衡器。
  • 路由控制器 - 负责在云服务上配置网络路由。
  • 如果你使用的是 out-of-tree 提供商，请按需实现其余任意特性。

示例

如果当前 Kubernetes 内核支持你使用的云服务，并且想要采用云管理控制器，请参见 kubernetes 内核中的云管理控制器。

对于不在 Kubernetes 核心代码库中的云管理控制器，你可以在云服务厂商或 SIG 领导者的源中找到对应的项目。

对于已经存在于 Kubernetes 内核中的提供商，你可以在集群中将 in-tree 云管理控制器作为守护进程运行。请使用如下指南：

admin/cloud/ccm-example.yamlKubernetes 云管理控制器 - 图1

  1. # 这是一个如何将 cloud-controller-manager 安装为集群中的 Daemonset 的示例。
  2. # 本例假定你的主控节点可以运行 pod 并具有角色 node-role.kubernetes.io/master
  3. # 请注意，这里的 Daemonset 不能直接在你的云上工作，此例只是一个指导。
  5. ---
  6. apiVersion: v1
  7. kind: ServiceAccount
  8. metadata:
  9.   name: cloud-controller-manager
  10.   namespace: kube-system
  11. ---
  12. apiVersion: rbac.authorization.k8s.io/v1
  13. kind: ClusterRoleBinding
  14. metadata:
  15.   name: system:cloud-controller-manager
  16. roleRef:
  17.   apiGroup: rbac.authorization.k8s.io
  18.   kind: ClusterRole
  19.   name: cluster-admin
  20. subjects:
  21. - kind: ServiceAccount
  22.   name: cloud-controller-manager
  23.   namespace: kube-system
  24. ---
  25. apiVersion: apps/v1
  26. kind: DaemonSet
  27. metadata:
  28.   labels:
  29.     k8s-app: cloud-controller-manager
  30.   name: cloud-controller-manager
  31.   namespace: kube-system
  32. spec:
  33.   selector:
  34.     matchLabels:
  35.       k8s-app: cloud-controller-manager
  36.   template:
  37.     metadata:
  38.       labels:
  39.         k8s-app: cloud-controller-manager
  40.     spec:
  41.       serviceAccountName: cloud-controller-manager
  42.       containers:
  43.       - name: cloud-controller-manager
  44.         # 对于树内驱动，我们使用 registry.k8s.io/cloud-controller-manager，
  45.         # 镜像可以替换为其他树外驱动的镜像
  46.         image: registry.k8s.io/cloud-controller-manager:v1.8.0
  47.         command:
  48.         - /usr/local/bin/cloud-controller-manager
  49.         - --cloud-provider=[YOUR_CLOUD_PROVIDER]  # 在此处添加你自己的云驱动！
  50.         - --leader-elect=true
  51.         - --use-service-account-credentials
  52.         # 这些标志因每个云驱动而异
  53.         - --allocate-node-cidrs=true
  54.         - --configure-cloud-routes=true
  55.         - --cluster-cidr=172.17.0.0/16
  56.       tolerations:
  57.       # 这一设置是必需的，为了让 CCM 可以自行引导
  58.       - key: node.cloudprovider.kubernetes.io/uninitialized
  59.         value: "true"
  60.         effect: NoSchedule
  61.       # 这些容忍度使得守护进程能够在控制平面节点上运行
  62.       # 如果你的控制平面节点不应该运行 pod，请删除它们
  63.       - key: node-role.kubernetes.io/control-plane
  64.         operator: Exists
  65.         effect: NoSchedule
  66.       - key: node-role.kubernetes.io/master
  67.         operator: Exists
  68.         effect: NoSchedule
  69.       # 这是为了限制 CCM 仅在主节点上运行
  70.       # 节点选择器可能因你的集群设置而异
  71.       nodeSelector:
  72.         node-role.kubernetes.io/master: ""

限制

运行云管理控制器会有一些可能的限制。虽然以后的版本将处理这些限制，但是知道这些生产负载的限制很重要。

对 Volume 的支持

云管理控制器未实现 kube-controller-manager 中的任何 volume 控制器， 因为和 volume 的集成还需要与 kubelet 协作。由于我们引入了 CSI (容器存储接口， container storage interface) 并对弹性 volume 插件添加了更强大的支持， 云管理控制器将添加必要的支持，以使云服务同 volume 更好的集成。 请在这里了解更多关于 out-of-tree CSI volume 插件的信息。

可扩展性

通过云管理控制器查询你的云提供商的 API 以检索所有节点的信息。 对于非常大的集群，请考虑可能的瓶颈，例如资源需求和 API 速率限制。

鸡和蛋的问题

云管理控制器的目标是将云服务特性的开发从 Kubernetes 核心项目中解耦。 不幸的是，Kubernetes 项目的许多方面都假设云服务提供商的特性同项目紧密结合。 因此，这种新架构的采用可能导致某些场景下，当一个请求需要从云服务提供商获取信息时， 在该请求没有完成的情况下云管理控制器不能返回那些信息。

Kubelet 中的 TLS 引导特性是一个很好的例子。 目前，TLS 引导认为 kubelet 有能力从云提供商（或本地元数据服务）获取所有的地址类型（私有、公用等）， 但在被初始化之前，云管理控制器不能设置节点地址类型，而这需要 kubelet 拥有 TLS 证书以和 API 服务器通信。

随着整个动议的演进，将来的发行版中将作出改变来解决这些问题。

接下来

要构建和开发你自己的云管理控制器，请阅读 开发云管理控制器 文档。