07-3.部署 kube-proxy 组件

kube-proxy 运行在所有 worker 节点上，，它监听 apiserver 中 service 和 Endpoint 的变化情况，创建路由规则来进行服务负载均衡。

本文档讲解部署 kube-proxy 的部署，使用 ipvs 模式。

注意：如果没有特殊指明，本文档的所有操作均在 m7-autocv-gpu01 节点上执行，然后远程分发文件和执行命令。

下载和分发 kube-proxy 二进制文件

参考 06-0.部署master节点.md

安装依赖包

各节点需要安装 ipvsadm 和 ipset 命令，加载 ip_vs 内核模块。

参考 07-0.部署worker节点.md

创建 kube-proxy 证书

创建证书签名请求：

  1. cd /opt/k8s/work
  2. cat > kube-proxy-csr.json <<EOF
  3. {
  4.   "CN": "system:kube-proxy",
  5.   "key": {
  6.     "algo": "rsa",
  7.     "size": 2048
  8.   },
  9.   "names": [
  10.     {
  11.       "C": "CN",
  12.       "ST": "BeiJing",
  13.       "L": "BeiJing",
  14.       "O": "k8s",
  15.       "OU": "4Paradigm"
  16.     }
  17.   ]
  18. }
  19. EOF
  • CN：指定该证书的 User 为 system:kube-proxy；
  • 预定义的 RoleBinding system:node-proxier 将User system:kube-proxy 与 Role system:node-proxier 绑定，该 Role 授予了调用 kube-apiserver Proxy 相关 API 的权限；
  • 该证书只会被 kube-proxy 当做 client 证书使用，所以 hosts 字段为空；

生成证书和私钥：

  1. cd /opt/k8s/work
  2. cfssl gencert -ca=/opt/k8s/work/ca.pem \
  3.   -ca-key=/opt/k8s/work/ca-key.pem \
  4.   -config=/opt/k8s/work/ca-config.json \
  5.   -profile=kubernetes  kube-proxy-csr.json | cfssljson -bare kube-proxy
  6. ls kube-proxy*

创建和分发 kubeconfig 文件

  1. cd /opt/k8s/work
  2. source /opt/k8s/bin/environment.sh
  3. kubectl config set-cluster kubernetes \
  4.   --certificate-authority=/opt/k8s/work/ca.pem \
  5.   --embed-certs=true \
  6.   --server=${KUBE_APISERVER} \
  7.   --kubeconfig=kube-proxy.kubeconfig
  9. kubectl config set-credentials kube-proxy \
  10.   --client-certificate=kube-proxy.pem \
  11.   --client-key=kube-proxy-key.pem \
  12.   --embed-certs=true \
  13.   --kubeconfig=kube-proxy.kubeconfig
  15. kubectl config set-context default \
  16.   --cluster=kubernetes \
  17.   --user=kube-proxy \
  18.   --kubeconfig=kube-proxy.kubeconfig
  20. kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig
  • --embed-certs=true：将 ca.pem 和 admin.pem 证书内容嵌入到生成的 kubectl-proxy.kubeconfig 文件中(不加时，写入的是证书文件路径)；

分发 kubeconfig 文件：

  1. cd /opt/k8s/work
  2. source /opt/k8s/bin/environment.sh
  3. for node_name in ${NODE_NAMES[@]}
  4.   do
  5.     echo ">>> ${node_name}"
  6.     scp kube-proxy.kubeconfig root@${node_name}:/etc/kubernetes/
  7.   done

创建 kube-proxy 配置文件

从 v1.10 开始，kube-proxy 部分参数可以配置文件中配置。可以使用 --write-config-to 选项生成该配置文件，或者参考 kubeproxyconfig 的类型定义源文件

创建 kube-proxy config 文件模板：

  1. cd /opt/k8s/work
  2. cat <<EOF | tee kube-proxy-config.yaml.template
  3. kind: KubeProxyConfiguration
  4. apiVersion: kubeproxy.config.k8s.io/v1alpha1
  5. clientConnection:
  6.   kubeconfig: "/etc/kubernetes/kube-proxy.kubeconfig"
  7. bindAddress: ##NODE_IP##
  8. clusterCIDR: ${CLUSTER_CIDR}
  9. healthzBindAddress: ##NODE_IP##:10256
  10. hostnameOverride: ##NODE_NAME##
  11. metricsBindAddress: ##NODE_IP##:10249
  12. mode: "ipvs"
  13. EOF
  • bindAddress: 监听地址；
  • clientConnection.kubeconfig: 连接 apiserver 的 kubeconfig 文件；
  • clusterCIDR: kube-proxy 根据 --cluster-cidr 判断集群内部和外部流量，指定 --cluster-cidr 或 --masquerade-all 选项后 kube-proxy 才会对访问 Service IP 的请求做 SNAT；
  • hostnameOverride: 参数值必须与 kubelet 的值一致，否则 kube-proxy 启动后会找不到该 Node，从而不会创建任何 ipvs 规则；
  • mode: 使用 ipvs 模式；

为各节点创建和分发 kube-proxy 配置文件：

  1. cd /opt/k8s/work
  2. source /opt/k8s/bin/environment.sh
  3. for (( i=0; i < 3; i++ ))
  4.   do 
  5.     echo ">>> ${NODE_NAMES[i]}"
  6.     sed -e "s/##NODE_NAME##/${NODE_NAMES[i]}/" -e "s/##NODE_IP##/${NODE_IPS[i]}/" kube-proxy-config.yaml.template > kube-proxy-config-${NODE_NAMES[i]}.yaml.template
  7.     scp kube-proxy-config-${NODE_NAMES[i]}.yaml.template root@${NODE_NAMES[i]}:/etc/kubernetes/kube-proxy-config.yaml
  8.   done

替换后的 kube-proxy.config.yaml 文件：kube-proxy.config.yaml

创建和分发 kube-proxy systemd unit 文件

  1. cd /opt/k8s/work
  2. source /opt/k8s/bin/environment.sh
  3. cat > kube-proxy.service <<EOF
  4. [Unit]
  5. Description=Kubernetes Kube-Proxy Server
  6. Documentation=https://github.com/GoogleCloudPlatform/kubernetes
  7. After=network.target
  9. [Service]
  10. WorkingDirectory=${K8S_DIR}/kube-proxy
  11. ExecStart=/opt/k8s/bin/kube-proxy \\
  12.   --config=/etc/kubernetes/kube-proxy-config.yaml \\
  13.   --logtostderr=true \\
  14.   --v=2
  15. Restart=on-failure
  16. RestartSec=5
  17. LimitNOFILE=65536
  19. [Install]
  20. WantedBy=multi-user.target
  21. EOF

替换后的 unit 文件：kube-proxy.service

分发 kube-proxy systemd unit 文件：

  1. cd /opt/k8s/work
  2. source /opt/k8s/bin/environment.sh
  3. for node_name in ${NODE_NAMES[@]}
  4.   do 
  5.     echo ">>> ${node_name}"
  6.     scp kube-proxy.service root@${node_name}:/etc/systemd/system/
  7.   done

启动 kube-proxy 服务

  1. cd /opt/k8s/work
  2. source /opt/k8s/bin/environment.sh
  3. for node_ip in ${NODE_IPS[@]}
  4.   do
  5.     echo ">>> ${node_ip}"
  6.     ssh root@${node_ip} "mkdir -p ${K8S_DIR}/kube-proxy"
  7.     ssh root@${node_ip} "systemctl daemon-reload && systemctl enable kube-proxy && systemctl restart kube-proxy"
  8.   done
  • 必须先创建工作目录；

检查启动结果

  1. source /opt/k8s/bin/environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3.   do
  4.     echo ">>> ${node_ip}"
  5.     ssh root@${node_ip} "systemctl status kube-proxy|grep Active"
  6.   done

确保状态为 active (running)，否则查看日志，确认原因：

  1. journalctl -u kube-proxy

查看监听端口和 metrics

  1. $ sudo netstat -lnpt|grep kube-prox
  2. tcp        0      0 172.27.128.150:10249    0.0.0.0:*               LISTEN      76419/kube-proxy
  3. tcp        0      0 172.27.128.150:10256    0.0.0.0:*               LISTEN      76419/kube-proxy
  • 10249：http prometheus metrics port;
  • 10256：http healthz port;

查看 ipvs 路由规则

  1. source /opt/k8s/bin/environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3.   do
  4.     echo ">>> ${node_ip}"
  5.     ssh root@${node_ip} "/usr/sbin/ipvsadm -ln"
  6.   done

预期输出：

  1. >>> 172.27.128.150
  2. IP Virtual Server version 1.2.1 (size=4096)
  3. Prot LocalAddress:Port Scheduler Flags
  4.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  5. TCP  10.254.0.1:443 rr
  6.   -> 172.27.128.149:6443          Masq    1      0          0
  7.   -> 172.27.128.148:6443          Masq    1      0          0
  8.   -> 172.27.128.150:6443          Masq    1      0          0
  9. >>> 172.27.128.149
  10. IP Virtual Server version 1.2.1 (size=4096)
  11. Prot LocalAddress:Port Scheduler Flags
  12.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  13. TCP  10.254.0.1:443 rr
  14.   -> 172.27.128.149:6443          Masq    1      0          0
  15.   -> 172.27.128.148:6443          Masq    1      0          0
  16.   -> 172.27.128.150:6443          Masq    1      0          0
  17. >>> 172.27.128.148
  18. IP Virtual Server version 1.2.1 (size=4096)
  19. Prot LocalAddress:Port Scheduler Flags
  20.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  21. TCP  10.254.0.1:443 rr
  22.   -> 172.27.128.149:6443          Masq    1      0          0
  23.   -> 172.27.128.148:6443          Masq    1      0          0
  24.   -> 172.27.128.150:6443          Masq    1      0          0

可见将所有到 kubernetes cluster ip 443 端口的请求都转发到 kube-apiserver 的 6443 端口；