部署 master 节点

kubernetes master 节点包含的组件：

  • kube-apiserver
  • kube-scheduler
  • kube-controller-manager

目前这三个组件需要部署在同一台机器上：

  • kube-scheduler、kube-controller-manager 和 kube-apiserver 三者的功能紧密相关；
  • 同时只能有一个 kube-scheduler、kube-controller-manager 进程处于工作状态，如果运行多个，则需要通过选举产生一个 leader；

本文档介绍部署单机 kubernetes master 节点的步骤，没有实现高可用 master 集群。

计划后续再介绍部署 LB 的步骤，客户端 (kubectl、kubelet、kube-proxy) 使用 LB 的 VIP 来访问 kube-apiserver，从而实现高可用 master 集群。

master 节点与 node 节点上的 Pods 通过 Pod 网络通信，所以需要在 master 节点上部署 Flannel 网络。

使用的变量

本文档用到的变量定义如下：

  1. $ export MASTER_IP=10.64.3.7  # 替换为当前部署的 master 机器 IP
  2. $ # 导入用到的其它全局变量：SERVICE_CIDR、CLUSTER_CIDR、NODE_PORT_RANGE、ETCD_ENDPOINTS、BOOTSTRAP_TOKEN
  3. $ source /root/local/bin/environment.sh
  4. $

下载最新版本的二进制文件

有两种下载方式：

  1. 从 github release 页面 下载发布版 tarball，解压后再执行下载脚本

    1.  $ wget https://github.com/kubernetes/kubernetes/releases/download/v1.6.2/kubernetes.tar.gz
    2.  $ tar -xzvf kubernetes.tar.gz
    3.  ...
    4.  $ cd kubernetes
    5.  $ ./cluster/get-kube-binaries.sh
    6.  ...

  2. 从 CHANGELOG页面 下载 client 或 server tarball 文件

    server 的 tarball kubernetes-server-linux-amd64.tar.gz 已经包含了 client(kubectl) 二进制文件，所以不用单独下载kubernetes-client-linux-amd64.tar.gz文件；

    1.  $ # wget https://dl.k8s.io/v1.6.2/kubernetes-client-linux-amd64.tar.gz
    2.  $ wget https://dl.k8s.io/v1.6.2/kubernetes-server-linux-amd64.tar.gz
    3.  $ tar -xzvf kubernetes-server-linux-amd64.tar.gz
    4.  ...
    5.  $ cd kubernetes
    6.  $ tar -xzvf  kubernetes-src.tar.gz

将二进制文件拷贝到指定路径：

  1. $ sudo cp -r server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler,kubectl,kube-proxy,kubelet} /root/local/bin/
  2. $

安装和配置 flanneld

参考 05-部署Flannel网络.md

创建 kubernetes 证书

创建 kubernetes 证书签名请求

  1. $ cat > kubernetes-csr.json <<EOF
  2. {
  3.   "CN": "kubernetes",
  4.   "hosts": [
  5.     "127.0.0.1",
  6.     "${MASTER_IP}",
  7.     "${CLUSTER_KUBERNETES_SVC_IP}",
  8.     "kubernetes",
  9.     "kubernetes.default",
  10.     "kubernetes.default.svc",
  11.     "kubernetes.default.svc.cluster",
  12.     "kubernetes.default.svc.cluster.local"
  13.   ],
  14.   "key": {
  15.     "algo": "rsa",
  16.     "size": 2048
  17.   },
  18.   "names": [
  19.     {
  20.       "C": "CN",
  21.       "ST": "BeiJing",
  22.       "L": "BeiJing",
  23.       "O": "k8s",
  24.       "OU": "System"
  25.     }
  26.   ]
  27. }
  28. EOF
  • 如果 hosts 字段不为空则需要指定授权使用该证书的 IP 或域名列表，所以上面分别指定了当前部署的 master 节点主机 IP；

  • 还需要添加 kube-apiserver 注册的名为 kubernetes 的服务 IP (Service Cluster IP)，一般是 kube-apiserver --service-cluster-ip-range 选项值指定的网段的第一个IP，如 “10.254.0.1”；

    1. $ kubectl get svc kubernetes
    2. NAME         CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
    3. kubernetes   10.254.0.1   <none>        443/TCP   1d

生成 kubernetes 证书和私钥

  1. $ cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \
  2.   -ca-key=/etc/kubernetes/ssl/ca-key.pem \
  3.   -config=/etc/kubernetes/ssl/ca-config.json \
  4.   -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes
  5. $ ls kubernetes*
  6. kubernetes.csr  kubernetes-csr.json  kubernetes-key.pem  kubernetes.pem
  7. $ sudo mkdir -p /etc/kubernetes/ssl/
  8. $ sudo mv kubernetes*.pem /etc/kubernetes/ssl/
  9. $ rm kubernetes.csr  kubernetes-csr.json

配置和启动 kube-apiserver

创建 kube-apiserver 使用的客户端 token 文件

kubelet 首次启动时向 kube-apiserver 发送 TLS Bootstrapping 请求，kube-apiserver 验证 kubelet 请求中的 token 是否与它配置的 token.csv 一致，如果一致则自动为 kubelet生成证书和秘钥。

  1. $ # 导入的 environment.sh 文件定义了 BOOTSTRAP_TOKEN 变量
  2. $ cat > token.csv <<EOF
  3. ${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
  4. EOF
  5. $ mv token.csv /etc/kubernetes/
  6. $

创建 kube-apiserver 的 systemd unit 文件

  1. $ cat  > kube-apiserver.service <<EOF
  2. [Unit]
  3. Description=Kubernetes API Server
  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes
  5. After=network.target
  7. [Service]
  8. ExecStart=/root/local/bin/kube-apiserver \\
  9.   --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota \\
  10.   --advertise-address=${MASTER_IP} \\
  11.   --bind-address=${MASTER_IP} \\
  12.   --insecure-bind-address=${MASTER_IP} \\
  13.   --authorization-mode=RBAC \\
  14.   --runtime-config=rbac.authorization.k8s.io/v1alpha1 \\
  15.   --kubelet-https=true \\
  16.   --experimental-bootstrap-token-auth \\
  17.   --token-auth-file=/etc/kubernetes/token.csv \\
  18.   --service-cluster-ip-range=${SERVICE_CIDR} \\
  19.   --service-node-port-range=${NODE_PORT_RANGE} \\
  20.   --tls-cert-file=/etc/kubernetes/ssl/kubernetes.pem \\
  21.   --tls-private-key-file=/etc/kubernetes/ssl/kubernetes-key.pem \\
  22.   --client-ca-file=/etc/kubernetes/ssl/ca.pem \\
  23.   --service-account-key-file=/etc/kubernetes/ssl/ca-key.pem \\
  24.   --etcd-cafile=/etc/kubernetes/ssl/ca.pem \\
  25.   --etcd-certfile=/etc/kubernetes/ssl/kubernetes.pem \\
  26.   --etcd-keyfile=/etc/kubernetes/ssl/kubernetes-key.pem \\
  27.   --etcd-servers=${ETCD_ENDPOINTS} \\
  28.   --enable-swagger-ui=true \\
  29.   --allow-privileged=true \\
  30.   --apiserver-count=3 \\
  31.   --audit-log-maxage=30 \\
  32.   --audit-log-maxbackup=3 \\
  33.   --audit-log-maxsize=100 \\
  34.   --audit-log-path=/var/lib/audit.log \\
  35.   --event-ttl=1h \\
  36.   --v=2
  37. Restart=on-failure
  38. RestartSec=5
  39. Type=notify
  40. LimitNOFILE=65536
  42. [Install]
  43. WantedBy=multi-user.target
  44. EOF
  • kube-apiserver 1.6 版本开始使用 etcd v3 API 和存储格式；
  • --authorization-mode=RBAC 指定在安全端口使用 RBAC 授权模式，拒绝未通过授权的请求；
  • kube-scheduler、kube-controller-manager 一般和 kube-apiserver 部署在同一台机器上，它们使用非安全端口和 kube-apiserver通信;
  • kubelet、kube-proxy、kubectl 部署在其它 Node 节点上，如果通过安全端口访问 kube-apiserver，则必须先通过 TLS 证书认证，再通过 RBAC 授权；
  • kube-proxy、kubectl 通过在使用的证书里指定相关的 User、Group 来达到通过 RBAC 授权的目的；
  • 如果使用了 kubelet TLS Boostrap 机制，则不能再指定 --kubelet-certificate-authority、--kubelet-client-certificate 和 --kubelet-client-key 选项，否则后续 kube-apiserver 校验 kubelet 证书时出现 ”x509: certificate signed by unknown authority“ 错误；
  • --admission-control 值必须包含 ServiceAccount，否则部署集群插件时会失败；
  • --bind-address 不能为 127.0.0.1；
  • --service-cluster-ip-range 指定 Service Cluster IP 地址段，该地址段不能路由可达；
  • --service-node-port-range=${NODE_PORT_RANGE} 指定 NodePort 的端口范围；
  • 缺省情况下 kubernetes 对象保存在 etcd /registry 路径下，可以通过 --etcd-prefix 参数进行调整；

完整 unit 见 kube-apiserver.service

启动 kube-apiserver

  1. $ sudo cp kube-apiserver.service /etc/systemd/system/
  2. $ sudo systemctl daemon-reload
  3. $ sudo systemctl enable kube-apiserver
  4. $ sudo systemctl start kube-apiserver
  5. $ sudo systemctl status kube-apiserver
  6. $

配置和启动 kube-controller-manager

创建 kube-controller-manager 的 systemd unit 文件

  1. $ cat > kube-controller-manager.service <<EOF
  2. [Unit]
  3. Description=Kubernetes Controller Manager
  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes
  6. [Service]
  7. ExecStart=/root/local/bin/kube-controller-manager \\
  8.   --address=127.0.0.1 \\
  9.   --master=http://${MASTER_IP}:8080 \\
  10.   --allocate-node-cidrs=true \\
  11.   --service-cluster-ip-range=${SERVICE_CIDR} \\
  12.   --cluster-cidr=${CLUSTER_CIDR} \\
  13.   --cluster-name=kubernetes \\
  14.   --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.pem \\
  15.   --cluster-signing-key-file=/etc/kubernetes/ssl/ca-key.pem \\
  16.   --service-account-private-key-file=/etc/kubernetes/ssl/ca-key.pem \\
  17.   --root-ca-file=/etc/kubernetes/ssl/ca.pem \\
  18.   --leader-elect=true \\
  19.   --v=2
  20. Restart=on-failure
  21. RestartSec=5
  23. [Install]
  24. WantedBy=multi-user.target
  25. EOF

  • --address 值必须为 127.0.0.1，因为当前 kube-apiserver 期望 scheduler 和 controller-manager 在同一台机器，否则：

    1.   $ kubectl get componentstatuses
    2.   NAME                 STATUS      MESSAGE                                                                                        ERROR
    3.   controller-manager   Unhealthy   Get http://127.0.0.1:10252/healthz: dial tcp 127.0.0.1:10252: getsockopt: connection refused
    4.   scheduler            Unhealthy   Get http://127.0.0.1:10251/healthz: dial tcp 127.0.0.1:10251: getsockopt: connection refused

    参考：https://github.com/kubernetes-incubator/bootkube/issues/64

  • --master=http://{MASTER_IP}:8080：使用非安全 8080 端口与 kube-apiserver 通信；

  • --cluster-cidr 指定 Cluster 中 Pod 的 CIDR 范围，该网段在各 Node 间必须路由可达(flanneld保证)；
  • --service-cluster-ip-range 参数指定 Cluster 中 Service 的CIDR范围，该网络在各 Node 间必须路由不可达，必须和 kube-apiserver 中的参数一致；
  • --cluster-signing-* 指定的证书和私钥文件用来签名为 TLS BootStrap 创建的证书和私钥；
  • --root-ca-file 用来对 kube-apiserver 证书进行校验，指定该参数后，才会在Pod 容器的 ServiceAccount 中放置该 CA 证书文件；
  • --leader-elect=true 部署多台机器组成的 master 集群时选举产生一处于工作状态的 kube-controller-manager 进程；

完整 unit 见 kube-controller-manager.service

启动 kube-controller-manager

  1. $ sudo cp kube-controller-manager.service /etc/systemd/system/
  2. $ sudo systemctl daemon-reload
  3. $ sudo systemctl enable kube-controller-manager
  4. $ sudo systemctl start kube-controller-manager
  5. $

配置和启动 kube-scheduler

创建 kube-scheduler 的 systemd unit 文件

  1. $ cat > kube-scheduler.service <<EOF
  2. [Unit]
  3. Description=Kubernetes Scheduler
  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes
  6. [Service]
  7. ExecStart=/root/local/bin/kube-scheduler \\
  8.   --address=127.0.0.1 \\
  9.   --master=http://${MASTER_IP}:8080 \\
  10.   --leader-elect=true \\
  11.   --v=2
  12. Restart=on-failure
  13. RestartSec=5
  15. [Install]
  16. WantedBy=multi-user.target
  17. EOF
  • --address 值必须为 127.0.0.1，因为当前 kube-apiserver 期望 scheduler 和 controller-manager 在同一台机器；
  • --master=http://{MASTER_IP}:8080：使用非安全 8080 端口与 kube-apiserver 通信；
  • --leader-elect=true 部署多台机器组成的 master 集群时选举产生一处于工作状态的 kube-controller-manager 进程；

完整 unit 见 kube-scheduler.service。

启动 kube-scheduler

  1. $ sudo cp kube-scheduler.service /etc/systemd/system/
  2. $ sudo systemctl daemon-reload
  3. $ sudo systemctl enable kube-scheduler
  4. $ sudo systemctl start kube-scheduler
  5. $

验证 master 节点功能

  1. $ kubectl get componentstatuses
  2. NAME                 STATUS    MESSAGE              ERROR
  3. controller-manager   Healthy   ok
  4. scheduler            Healthy   ok
  5. etcd-0               Healthy   {"health": "true"}
  6. etcd-1               Healthy   {"health": "true"}
  7. etcd-2               Healthy   {"health": "true"}