1 - 基础环境配置

一、主机配置

1、配置要求

参考节点要求

2、主机名配置

因为K8S的规定，主机名只支持包含 - 和 .(中横线和点)两种特殊符号，并且主机名不能出现重复。

3、Hosts

配置每台主机的hosts(/etc/hosts),添加host_ip $hostname到/etc/hosts文件中。

4、CentOS关闭selinux

sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

5、关闭防火墙(可选)或者放行相应端口

对于刚刚接触Rancher的用户，建议在关闭防火墙的测试环境或桌面虚拟机来运行rancher，以避免出现网络通信问题。

  • 关闭防火墙

1、CentOS

systemctl stop firewalld.service && systemctl disable firewalld.service

2、Ubuntu

ufw disable

  • 端口放行

端口放行请查看端口需求

6、配置主机时间、时区、系统语言

  • 查看时区

date -R或者timedatectl

  • 修改时区

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

  • 修改系统语言环境

sudo echo 'LANG="en_US.UTF-8"' >> /etc/profile;source /etc/profile

  • 配置主机NTP时间同步

7、Kernel性能调优

  1. cat >> /etc/sysctl.conf<<EOF
  2. net.ipv4.ip_forward=1
  3. net.bridge.bridge-nf-call-iptables=1
  4. net.ipv4.neigh.default.gc_thresh1=4096
  5. net.ipv4.neigh.default.gc_thresh2=6144
  6. net.ipv4.neigh.default.gc_thresh3=8192
  7. EOF

数值根据实际环境自行配置，最后执行sysctl -p保存配置。

8、内核模块

警告 如果要使用ceph存储相关功能，需保证worker节点加载RBD模块

以下模块需要在主机上加载

模块名称
br_netfilter
ip6_udp_tunnel
ip_set
ip_set_hash_ip
ip_set_hash_net
iptable_filter
iptable_nat
iptable_mangle
iptable_raw
nf_conntrack_netlink
nf_conntrack
nf_conntrack_ipv4
nf_defrag_ipv4
nf_nat
nf_nat_ipv4
nf_nat_masquerade_ipv4
nfnetlink
udp_tunnel
VETH
VXLAN
x_tables
xt_addrtype
xt_conntrack
xt_comment
xt_mark
xt_multiport
xt_nat
xt_recent
xt_set
xt_statistic
xt_tcpudp

模块查询: lsmod | grep <模块名> 模块加载: modprobe <模块名>

9、ETCD集群容错表

建议在ETCD集群中使用奇数个成员,通过添加额外成员可以获得更高的失败容错。具体详情可以查阅optimal-cluster-size。

集群大小MAJORITY失败容错
110
220
321
431
532
642
743
853
954

二、Docker安装与配置

1、Docker安装

Ubuntu 16.x

  • 修改系统源
  1. sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
  2. cat > /etc/apt/sources.list << EOF
  4. deb http://mirrors.aliyun.com/ubuntu/ xenial main
  5. deb-src http://mirrors.aliyun.com/ubuntu/ xenial main
  6. deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main
  7. deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main
  8. deb http://mirrors.aliyun.com/ubuntu/ xenial universe
  9. deb-src http://mirrors.aliyun.com/ubuntu/ xenial universe
  10. deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
  11. deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
  12. deb http://mirrors.aliyun.com/ubuntu/ xenial-security main
  13. deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main
  14. deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
  15. deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security universe
  17. EOF
  • Docker-ce安装
  1. # 定义安装版本
  2. export docker_version=18.06.3;
  3. # step 1: 安装必要的一些系统工具
  4. sudo apt-get remove docker docker-engine docker.io containerd runc -y;
  5. sudo apt-get update;
  6. sudo apt-get -y install apt-transport-https ca-certificates \
  7.     curl software-properties-common bash-completion  gnupg-agent;
  8. # step 2: 安装GPG证书
  9. sudo curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | \
  10.     sudo apt-key add -;
  11. # Step 3: 写入软件源信息
  12. sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu \
  13.     $(lsb_release -cs) stable";
  14. # Step 4: 更新并安装 Docker-CE
  15. sudo apt-get -y update;
  16. version=$(apt-cache madison docker-ce|grep ${docker_version}|awk '{print $3}');
  17. # --allow-downgrades 允许降级安装
  18. sudo apt-get -y install docker-ce=${version} --allow-downgrades;
  19. # 设置开机启动
  20. sudo systemctl enable docker;

Docker-engine

Docker-Engine Docker官方已经不推荐使用，请安装Docker-CE。

CentOS 7.x

  • Docker-ce安装

因为CentOS的安全限制，通过RKE安装K8S集群时候无法使用root账户。所以，建议CentOS用户使用非root用户来运行docker,不管是RKE还是custom安装k8s,详情查看无法为主机配置SSH隧道。

  1. # 添加用户(可选)
  2. sudo adduser `<new_user>`
  3. # 为新用户设置密码
  4. sudo passwd `<new_user>`
  5. # 为新用户添加sudo权限
  6. sudo echo '<new_user> ALL=(ALL) ALL' >> /etc/sudoers
  7. # 卸载旧版本Docker软件
  8. sudo yum remove docker \
  9.               docker-client \
  10.               docker-client-latest \
  11.               docker-common \
  12.               docker-latest \
  13.               docker-latest-logrotate \
  14.               docker-logrotate \
  15.               docker-selinux \
  16.               docker-engine-selinux \
  17.               docker-engine \
  18.               container*
  19. # 定义安装版本
  20. export docker_version=18.06.3
  21. # step 1: 安装必要的一些系统工具
  22. sudo yum remove docker docker-client docker-client-latest \
  23.     docker-common docker-latest docker-latest-logrotate \
  24.     docker-logrotate docker-engine -y;
  25. sudo yum update -y;
  26. sudo yum install -y yum-utils device-mapper-persistent-data \
  27.     lvm2 bash-completion;
  28. # Step 2: 添加软件源信息
  29. sudo yum-config-manager --add-repo \
  30.     http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo;
  31. # Step 3: 更新并安装 Docker-CE
  32. sudo yum makecache all;
  33. version=$(yum list docker-ce.x86_64 --showduplicates | sort -r|grep ${docker_version}|awk '{print $2}');
  34. sudo yum -y install --setopt=obsoletes=0 docker-ce-${version} docker-ce-selinux-${version};
  35. # 如果已经安装高版本Docker,可进行降级安装(可选)
  36. yum downgrade --setopt=obsoletes=0 -y docker-ce-${version} docker-ce-selinux-${version};
  37. # 把当前用户加入docker组
  38. sudo usermod -aG docker `<new_user>`;
  39. # 设置开机启动
  40. sudo systemctl enable docker;

Docker-engine

Docker-Engine Docker官方已经不推荐使用，请安装Docker-CE。

2、Docker配置

对于通过systemd来管理服务的系统(比如CentOS7.X、Ubuntu16.X), Docker有两处可以配置参数: 一个是docker.service服务配置文件,一个是Docker daemon配置文件daemon.json。

  • docker.service

对于CentOS系统，docker.service默认位于/usr/lib/systemd/system/docker.service；对于Ubuntu系统，docker.service默认位于/lib/systemd/system/docker.service

  • daemon.json

daemon.json默认位于/etc/docker/daemon.json，如果没有可手动创建，基于systemd管理的系统都是相同的路径。通过修改daemon.json来改过Docker配置，也是Docker官方推荐的方法。

以下说明均基于systemd,并通过/etc/docker/daemon.json来修改配置。

配置镜像下载和上传并发数

从Docker1.12开始，支持自定义下载和上传镜像的并发数，默认值上传为3个并发，下载为5个并发。通过添加”max-concurrent-downloads”和”max-concurrent-uploads”参数对其修改:

  1. "max-concurrent-downloads": 3,
  2. "max-concurrent-uploads": 5

配置镜像加速地址

Rancher从v1.6.15开始到v2.x.x,Rancher系统相关的所有镜像(包括1.6.x上的K8S镜像)都托管在Dockerhub仓库。Dockerhub节点在国外，国内直接拉取镜像会有些缓慢。为了加速镜像的下载，可以给Docker配置国内的镜像地址。

编辑/etc/docker/daemon.json加入以下内容

  1. {
  2. "registry-mirrors": ["https://7bezldxe.mirror.aliyuncs.com/","https://IP:PORT/"]
  3. }

可以设置多个registry-mirrors地址，以数组形式书写，地址需要添加协议头(https或者http)。

配置insecure-registries私有仓库

Docker默认只信任TLS加密的仓库地址(https)，所有非https仓库默认无法登陆也无法拉取镜像。insecure-registries字面意思为不安全的仓库，通过添加这个参数对非https仓库进行授信。可以设置多个insecure-registries地址，以数组形式书写，地址不能添加协议头(http)。

编辑/etc/docker/daemon.json加入以下内容:

  1. {
  2. "insecure-registries": ["192.168.1.100","IP:PORT"]
  3. }

配置Docker存储驱动

OverlayFS是一个新一代的联合文件系统，类似于AUFS，但速度更快，实现更简单。Docker为OverlayFS提供了两个存储驱动程序:旧版的overlay，新版的overlay2(更稳定)。

先决条件:

  • overlay2: Linux内核版本4.0或更高版本，或使用内核版本3.10.0-514+的RHEL或CentOS。
  • overlay: 主机Linux内核版本3.18+
  • 支持的磁盘文件系统 
  1. {
  2. "storage-driver": "overlay2",
  3. "storage-opts": ["overlay2.override_kernel_check=true"]
  4. }

配置日志驱动

容器在运行时会产生大量日志文件，很容易占满磁盘空间。通过配置日志驱动来限制文件大小与文件的数量。>限制单个日志文件为100M,最多产生3个日志文件

  1. {
  2. "log-driver": "json-file",
  3. "log-opts": {
  4.     "max-size": "100m",
  5.     "max-file": "3"
  6.     }
  7. }

3、Ubuntu\Debian系统 ，docker info提示WARNING: No swap limit support

Ubuntu\Debian系统下，默认cgroups未开启swap account功能，这样会导致设置容器内存或者swap资源限制不生效。可以通过以下命令解决:

  1. # 统一网卡名称为ethx
  2. sudo sed -i 's/en[[:alnum:]]*/eth0/g' /etc/network/interfaces;
  3. sudo sed -i 's/GRUB_CMDLINE_LINUX="\(.*\)"/GRUB_CMDLINE_LINUX="net.ifnames=0 cgroup_enable=memory swapaccount=1 biosdevname=0 \1"/g' /etc/default/grub;
  4. sudo update-grub;

注意 通过以上命令可自动配置参数，如果/etc/default/grub非默认配置，需根据实际参数做调整。提示 以上配置完成后，建议重启一次主机。