01.系统初始化和全局变量

集群机器

  • kube-node1：172.27.129.105
  • kube-node2：172.27.129.111
  • kube-node3：172.27.129.112

可以使用 vagrant 和 Vagrantfile 创建三台虚机：

  1. $ cd vagrant
  2. $ vagrant up

本文档中的 etcd 集群、master 节点、worker 节点均使用这三台机器。

主机名

设置永久主机名称，然后重新登录:

  1. $ sudo hostnamectl set-hostname kube-node1 # 将 kube-node1 替换为当前主机名
  • 设置的主机名保存在 /etc/hostname 文件中；

修改每台机器的 /etc/hosts 文件，添加主机名和 IP 的对应关系：

  1. $ grep kube-node /etc/hosts
  2. 172.27.129.105 kube-node1    kube-node1
  3. 172.27.129.111 kube-node2    kube-node2
  4. 172.27.129.112 kube-node3    kube-node3

添加 k8s 和 docker 账户

在每台机器上添加 k8s 账户，可以无密码 sudo：

  1. $ sudo useradd -m k8s
  2. $ sudo sh -c 'echo 123456 | passwd k8s --stdin' # 为 k8s 账户设置密码
  3. $ sudo visudo
  4. $ sudo grep '%wheel.*NOPASSWD: ALL' /etc/sudoers
  5. %wheel    ALL=(ALL)    NOPASSWD: ALL
  6. $ sudo gpasswd -a k8s wheel

在每台机器上添加 docker 账户，将 k8s 账户添加到 docker 组中，同时配置 dockerd 参数：

  1. $ sudo useradd -m docker
  2. $ sudo gpasswd -a k8s docker
  3. $ sudo mkdir -p  /etc/docker/
  4. $ cat /etc/docker/daemon.json
  5. {
  6.     "registry-mirrors": ["https://hub-mirror.c.163.com", "https://docker.mirrors.ustc.edu.cn"],
  7.     "max-concurrent-downloads": 20
  8. }

无密码 ssh 登录其它节点

如果没有特殊指明，本文档的所有操作均在 kube-node1 节点上执行，然后远程分发文件和执行命令。

设置 kube-node1 可以无密码登录所有节点的 k8s 和 root 账户：

  1. [k8s@kube-node1 k8s]$ ssh-keygen -t rsa
  2. [k8s@kube-node1 k8s]$ ssh-copy-id root@kube-node1
  3. [k8s@kube-node1 k8s]$ ssh-copy-id root@kube-node2
  4. [k8s@kube-node1 k8s]$ ssh-copy-id root@kube-node3
  6. [k8s@kube-node1 k8s]$ ssh-copy-id k8s@kube-node1
  7. [k8s@kube-node1 k8s]$ ssh-copy-id k8s@kube-node2
  8. [k8s@kube-node1 k8s]$ ssh-copy-id k8s@kube-node3

将可执行文件路径 /opt/k8s/bin 添加到 PATH 变量中

在每台机器上添加环境变量：

  1. $ sudo sh -c "echo 'PATH=/opt/k8s/bin:$PATH:$HOME/bin:$JAVA_HOME/bin' >>/root/.bashrc"
  2. $ echo 'PATH=/opt/k8s/bin:$PATH:$HOME/bin:$JAVA_HOME/bin' >>~/.bashrc

安装依赖包

在每台机器上安装依赖包：

CentOS:

  1. $ sudo yum install -y epel-release
  2. $ sudo yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp

Ubuntu:

  1. $ sudo apt-get install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp
  • ipvs 依赖 ipset；

关闭防火墙

在每台机器上关闭防火墙：

  1. $ sudo systemctl stop firewalld
  2. $ sudo systemctl disable firewalld
  3. $ sudo iptables -F && sudo iptables -X && sudo iptables -F -t nat && sudo iptables -X -t nat
  4. $ sudo sudo iptables -P FORWARD ACCEPT

关闭 swap 分区

如果开启了 swap 分区，kubelet 会启动失败(可以通过将参数 —fail-swap-on 设置为 false 来忽略 swap on)，故需要在每台机器上关闭 swap 分区：

  1. $ sudo swapoff -a

为了防止开机自动挂载 swap 分区，可以注释 /etc/fstab 中相应的条目：

  1. $ sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

关闭 SELinux

关闭 SELinux，否则后续 K8S 挂载目录时可能报错 Permission denied：

  1. $ sudo setenforce 0
  2. $ grep SELINUX /etc/selinux/config 
  3. SELINUX=disabled
  • 修改配置文件，永久生效；

关闭 dnsmasq (可选)

linux 系统开启了 dnsmasq 后(如 GUI 环境)，将系统 DNS Server 设置为 127.0.0.1，这会导致 docker 容器无法解析域名，需要关闭它：

  1. $ sudo service dnsmasq stop
  2. $ sudo systemctl disable dnsmasq

加载内核模块

  1. $ sudo modprobe br_netfilter
  2. $ sudo modprobe ip_vs

设置系统参数

  1. $ cat > kubernetes.conf <<EOF
  2. net.bridge.bridge-nf-call-iptables=1
  3. net.bridge.bridge-nf-call-ip6tables=1
  4. net.ipv4.ip_forward=1
  5. net.ipv4.tcp_tw_recycle=0
  6. vm.swappiness=0
  7. vm.overcommit_memory=1
  8. vm.panic_on_oom=0
  9. fs.inotify.max_user_watches=89100
  10. fs.file-max=52706963
  11. fs.nr_open=52706963
  12. net.ipv6.conf.all.disable_ipv6=1
  13. net.netfilter.nf_conntrack_max=2310720
  14. EOF
  15. $ sudo cp kubernetes.conf  /etc/sysctl.d/kubernetes.conf
  16. $ sudo sysctl -p /etc/sysctl.d/kubernetes.conf
  17. $ sudo mount -t cgroup -o cpu,cpuacct none /sys/fs/cgroup/cpu,cpuacct
  • tcp_tw_recycle 和 Kubernetes 的 NAT 冲突，必须关闭 ，否则会导致服务不通；
  • 关闭不使用的 IPV6 协议栈，防止触发 docker BUG；

设置系统时区

  1. $ # 调整系统 TimeZone
  2. $ sudo timedatectl set-timezone Asia/Shanghai
  4. $ # 将当前的 UTC 时间写入硬件时钟
  5. $ sudo timedatectl set-local-rtc 0
  7. $ # 重启依赖于系统时间的服务
  8. $ sudo systemctl restart rsyslog 
  9. $ sudo systemctl restart crond

更新系统时间

  1. $ sudo ntpdate cn.pool.ntp.org

创建目录

在每台机器上创建目录：

  1. $ sudo mkdir -p /opt/k8s/bin
  2. $ sudo chown -R k8s /opt/k8s
  4. $ sudo sudo mkdir -p /etc/kubernetes/cert
  5. $ sudo chown -R k8s /etc/kubernetes
  7. $ sudo mkdir -p /etc/etcd/cert
  8. $ sudo chown -R k8s /etc/etcd/cert
  10. $ sudo mkdir -p /var/lib/etcd && chown -R k8s /etc/etcd/cert

检查系统内核和模块是否适合运行 docker (仅适用于 linux 系统)

  1. $ curl https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh > check-config.sh
  2. $ bash ./check-config.sh

修改和分发集群环境变量定义脚本

后续的部署步骤将使用 environment.sh 中定义的全局环境变量，请根据自己的机器、网络情况修改。

然后，把全局变量定义脚本拷贝到所有节点的 /opt/k8s/bin 目录：

  1. source environment.sh
  2. for node_ip in ${NODE_IPS[@]}
  3.   do
  4.     echo ">>> ${node_ip}"
  5.     scp environment.sh k8s@${node_ip}:/opt/k8s/bin/
  6.     ssh k8s@${node_ip} "chmod +x /opt/k8s/bin/*"
  7.   done

参考

  1. 系统内核相关参数参考：https://docs.openshift.com/enterprise/3.2/admin_guide/overcommit.html