自动扩缩集群 DNS 服务

本页展示了如何在你的 Kubernetes 集群中启用和配置 DNS 服务的自动扩缩功能。

准备开始

  • 你必须拥有一个 Kubernetes 的集群，且必须配置 kubectl 命令行工具让其与你的集群通信。 建议运行本教程的集群至少有两个节点，且这两个节点不能作为控制平面主机。 如果你还没有集群，你可以通过 Minikube 构建一个你自己的集群，或者你可以使用下面的 Kubernetes 练习环境之一：

    要获知版本信息，请输入 kubectl version.

  • 本指南假设你的节点使用 AMD64 或 Intel 64 CPU 架构

  • 确保 Kubernetes DNS 已启用。

确定是否 DNS 水平自动扩缩特性已经启用

在 kube-system 命名空间中列出集群中的 Deployment：

  1. kubectl get deployment --namespace=kube-system

输出类似如下这样：

  1. NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
  2. ...
  3. kube-dns-autoscaler    1/1     1            1           ...
  4. ...

如果在输出中看到 “kube-dns-autoscaler”，说明 DNS 水平自动扩缩已经启用， 可以跳到调优 DNS 自动扩缩参数。

获取 DNS Deployment 的名称

列出集群内 kube-system 命名空间中的 DNS Deployment：

  1. kubectl get deployment -l k8s-app=kube-dns --namespace=kube-system

输出类似如下这样：

  1. NAME      READY   UP-TO-DATE   AVAILABLE   AGE
  2. ...
  3. coredns   2/2     2            2           ...
  4. ...

如果看不到 DNS 服务的 Deployment，你也可以通过名字来查找：

  1. kubectl get deployment --namespace=kube-system

并在输出中寻找名称为 coredns 或 kube-dns 的 Deployment。

你的扩缩目标为：

  1. Deployment/<your-deployment-name>

其中 <your-deployment-name> 是 DNS Deployment 的名称。 例如，如果你的 DNS Deployment 名称是 coredns，则你的扩展目标是 Deployment/coredns。

说明：

CoreDNS 是 Kubernetes 的默认 DNS 服务。CoreDNS 设置标签 k8s-app=kube-dns， 以便能够在原来使用 kube-dns 的集群中工作。

启用 DNS 水平自动扩缩

在本节，我们创建一个新的 Deployment。Deployment 中的 Pod 运行一个基于 cluster-proportional-autoscaler-amd64 镜像的容器。

创建文件 dns-horizontal-autoscaler.yaml，内容如下所示：

  1. admin/dns/dns-horizontal-autoscaler.yaml
  1. kind: ServiceAccount
  2. apiVersion: v1
  3. metadata:
  4.   name: kube-dns-autoscaler
  5.   namespace: kube-system
  6. ---
  7. kind: ClusterRole
  8. apiVersion: rbac.authorization.k8s.io/v1
  9. metadata:
  10.   name: system:kube-dns-autoscaler
  11. rules:
  12.   - apiGroups: [""]
  13.     resources: ["nodes"]
  14.     verbs: ["list", "watch"]
  15.   - apiGroups: [""]
  16.     resources: ["replicationcontrollers/scale"]
  17.     verbs: ["get", "update"]
  18.   - apiGroups: ["apps"]
  19.     resources: ["deployments/scale", "replicasets/scale"]
  20.     verbs: ["get", "update"]
  21. # 待以下 issue 修复后，请删除 Configmaps
  22. # kubernetes-incubator/cluster-proportional-autoscaler#16
  23.   - apiGroups: [""]
  24.     resources: ["configmaps"]
  25.     verbs: ["get", "create"]
  26. ---
  27. kind: ClusterRoleBinding
  28. apiVersion: rbac.authorization.k8s.io/v1
  29. metadata:
  30.   name: system:kube-dns-autoscaler
  31. subjects:
  32.   - kind: ServiceAccount
  33.     name: kube-dns-autoscaler
  34.     namespace: kube-system
  35. roleRef:
  36.   kind: ClusterRole
  37.   name: system:kube-dns-autoscaler
  38.   apiGroup: rbac.authorization.k8s.io
  40. ---
  41. apiVersion: apps/v1
  42. kind: Deployment
  43. metadata:
  44.   name: kube-dns-autoscaler
  45.   namespace: kube-system
  46.   labels:
  47.     k8s-app: kube-dns-autoscaler
  48.     kubernetes.io/cluster-service: "true"
  49. spec:
  50.   selector:
  51.     matchLabels:
  52.       k8s-app: kube-dns-autoscaler
  53.   template:
  54.     metadata:
  55.       labels:
  56.         k8s-app: kube-dns-autoscaler
  57.     spec:
  58.       priorityClassName: system-cluster-critical
  59.       securityContext:
  60.         seccompProfile:
  61.           type: RuntimeDefault
  62.         supplementalGroups: [ 65534 ]
  63.         fsGroup: 65534
  64.       nodeSelector:
  65.         kubernetes.io/os: linux
  66.       containers:
  67.       - name: autoscaler
  68.         image: registry.k8s.io/cpa/cluster-proportional-autoscaler:1.8.4
  69.         resources:
  70.             requests:
  71.                 cpu: "20m"
  72.                 memory: "10Mi"
  73.         command:
  74.           - /cluster-proportional-autoscaler
  75.           - --namespace=kube-system
  76.           - --configmap=kube-dns-autoscaler
  77.           # 应该保持目标与 cluster/addons/dns/kube-dns.yaml.base 同步。
  78.           - --target=<SCALE_TARGET>
  79.           # 当集群使用大节点（有更多核）时，“coresPerReplica”应该占主导地位。
  80.           # 如果使用小节点，“nodesPerReplica“ 应该占主导地位。
  81.           - --default-params={"linear":{"coresPerReplica":256,"nodesPerReplica":16,"preventSinglePointFailure":true,"includeUnschedulableNodes":true}}
  82.           - --logtostderr=true
  83.           - --v=2
  84.       tolerations:
  85.       - key: "CriticalAddonsOnly"
  86.         operator: "Exists"
  87.       serviceAccountName: kube-dns-autoscaler

在此文件中，将 <SCALE_TARGET> 替换成扩缩目标。

进入到包含配置文件的目录中，输入如下命令创建 Deployment：

  1. kubectl apply -f dns-horizontal-autoscaler.yaml

命令成功执行后的输出为：

  1. deployment.apps/kube-dns-autoscaler created

DNS 水平自动扩缩现在已经启用了。

调优 DNS 自动扩缩参数

验证 kube-dns-autoscaler ConfigMap 是否存在：

  1. kubectl get configmap --namespace=kube-system

输出类似于：

  1. NAME                  DATA      AGE
  2. ...
  3. kube-dns-autoscaler   1         ...
  4. ...

修改此 ConfigMap 中的数据：

  1. kubectl edit configmap kube-dns-autoscaler --namespace=kube-system

找到如下这行内容：

  1. linear: '{"coresPerReplica":256,"min":1,"nodesPerReplica":16}'

根据需要修改对应的字段。“min” 字段表明 DNS 后端的最小数量。 实际后端的数量通过使用如下公式来计算：

  1. replicas = max( ceil( cores × 1/coresPerReplica ) , ceil( nodes × 1/nodesPerReplica ) )

注意 coresPerReplica 和 nodesPerReplica 的值都是浮点数。

背后的思想是，当一个集群使用具有很多核心的节点时，由 coresPerReplica 来控制。 当一个集群使用具有较少核心的节点时，由 nodesPerReplica 来控制。

其它的扩缩模式也是支持的，详情查看 cluster-proportional-autoscaler。

禁用 DNS 水平自动扩缩

有几个可供调优的 DNS 水平自动扩缩选项。具体使用哪个选项因环境而异。

选项 1：kube-dns-autoscaler Deployment 缩容至 0 个副本

此选项适用于所有场景。运行如下命令：

  1. kubectl scale deployment --replicas=0 kube-dns-autoscaler --namespace=kube-system

输出如下所示：

  1. deployment.apps/kube-dns-autoscaler scaled

验证当前副本数为 0：

  1. kubectl get rs --namespace=kube-system

输出内容中，在 DESIRED 和 CURRENT 列显示为 0：

  1. NAME                                 DESIRED   CURRENT   READY   AGE
  2. ...
  3. kube-dns-autoscaler-6b59789fc8            0         0         0       ...
  4. ...

选项 2：删除 kube-dns-autoscaler Deployment

如果 kube-dns-autoscaler 为你所控制，也就说没有人会去重新创建它，可以选择此选项：

  1. kubectl delete deployment kube-dns-autoscaler --namespace=kube-system

输出内容如下所示：

  1. deployment.apps "kube-dns-autoscaler" deleted

选项 3：从主控节点删除 kube-dns-autoscaler 清单文件

如果 kube-dns-autoscaler 在插件管理器 的控制之下，并且具有操作主控节点的写权限，可以使用此选项。

登录到主控节点，删除对应的清单文件。 kube-dns-autoscaler 对应的路径一般为：

  1. /etc/kubernetes/addons/dns-horizontal-autoscaler/dns-horizontal-autoscaler.yaml

当清单文件被删除后，插件管理器将删除 kube-dns-autoscaler Deployment。

理解 DNS 水平自动扩缩工作原理

  • cluster-proportional-autoscaler 应用独立于 DNS 服务部署。

  • autoscaler Pod 运行一个客户端，它通过轮询 Kubernetes API 服务器获取集群中节点和核心的数量。

  • 系统会基于当前可调度的节点个数、核心数以及所给的扩缩参数，计算期望的副本数并应用到 DNS 后端。

  • 扩缩参数和数据点会基于一个 ConfigMap 来提供给 autoscaler，它会在每次轮询时刷新它的参数表， 以与最近期望的扩缩参数保持一致。

  • 扩缩参数是可以被修改的，而且不需要重建或重启 autoscaler Pod。

  • autoscaler 提供了一个控制器接口来支持两种控制模式：linear 和 ladder。

接下来