在裸机上安装 KubeSphere

介绍

KubeSphere 除了可以在云上安装，还可以在裸机上安装。由于在裸机上没有虚拟层，基础设施的开销大大降低，从而可以给部署的应用提供更多的计算和存储资源，硬件效率得到提高。以下示例介绍如何在裸机上安装 KubeSphere。

准备工作

  • 您需要了解如何在多节点集群中安装 KubeSphere。有关详情，请参见多节点安装。
  • 您的环境中需要有足够的服务器和网络冗余。
  • 如果搭建生产环境，建议您提前准备持久化存储并创建 StorageClass。如果搭建开发测试环境，您可以直接使用集成的 OpenEBS 配置 LocalPV 存储服务。

准备 Linux 主机

本教程使用 3 台物理机，硬件配置为 DELL 620 Intel (R) Xeon (R) CPU E5-2640 v2 @ 2.00GHz (32G memory)。在这 3 台物理机上将安装 CentOS Linux release 7.6.1810 (Core) 操作系统，用于 KubeSphere 最小化安装。

安装 CentOS

请提前下载并安装 CentOS 镜像。请确保根目录已至少分配 200 GB 空间用于存储 Docker 镜像（如果 KubeSphere 仅用于测试，您可以跳过这一步）。

有关系统要求的更多信息，请参见系统要求。

三台主机的角色分配如下，供参考。

主机 IP 地址主机名角色
192.168.60.152master1master1, etcd
192.168.60.153worker1worker
192.168.60.154worker2worker

设置网卡

  1. 清空网卡配置。

    1. ifdown em1
    1. ifdown em2
    1. rm -rf /etc/sysconfig/network-scripts/ifcfg-em1
    1. rm -rf /etc/sysconfig/network-scripts/ifcfg-em2

  2. 创建 bond 网卡。

    1. nmcli con add type bond con-name bond0 ifname bond0 mode 802.3ad ip4 192.168.60.152/24 gw4 192.168.60.254

  3. 设置 bond 模式。

    1. nmcli con mod id bond0 bond.options mode=802.3ad,miimon=100,lacp_rate=fast,xmit_hash_policy=layer2+3

  4. 将物理网卡绑定至 bond。

    1. nmcli con add type bond-slave ifname em1 con-name em1 master bond0
    1. nmcli con add type bond-slave ifname em2 con-name em2 master bond0

  5. 修改网卡模式。

    1. vi /etc/sysconfig/network-scripts/ifcfg-bond0
    2. BOOTPROTO=static

  6. 重启 Network Manager。

    1. systemctl restart NetworkManager
    1. nmcli con # Display NIC information

  7. 修改主机名和 DNS。

    1. hostnamectl set-hostname worker-1
    1. vim /etc/resolv.conf

设置时间

  1. 开启时间同步。

    1. yum install -y chrony
    1. systemctl enable chronyd
    1. systemctl start chronyd
    1. timedatectl set-ntp true

  2. 设置时区。

    1. timedatectl set-timezone Asia/Shanghai

  3. 检查 ntp-server 是否可用。

    1. chronyc activity -v

设置防火墙

执行以下命令停止并禁用 firewalld 服务：

  1. iptables -F
  1. systemctl status firewalld
  1. systemctl stop firewalld
  1. systemctl disable firewalld

更新系统包和依赖项

执行以下命令更新系统包并安装依赖项：

  1. yum update
  1. yum install openssl openssl-devel
  1. yum install socat
  1. yum install epel-release
  1. yum install conntrack-tools
  1. yum install wget # This tool will be used later to download KubeKey.

备注

取决于将要安装的 Kubernetes 版本，您可能不需要安装所有依赖项。有关更多信息，请参见依赖项要求。

下载 KubeKey

KubeKey 是新一代 Kubernetes 和 KubeSphere 安装器，可帮助您以简单、快速、灵活的方式安装 Kubernetes 和 KubeSphere。

请按照以下步骤下载 KubeKey。

从 GitHub Release Page 下载 KubeKey 或使用以下命令：

  1. curl -sfL https://get-kk.kubesphere.io | VERSION=v1.0.1 sh -

先执行以下命令以确保您从正确的区域下载 KubeKey：

  1. export KKZONE=cn

执行以下命令下载 KubeKey：

  1. curl -sfL https://get-kk.kubesphere.io | VERSION=v1.0.1 sh -

备注

在您下载 KubeKey 后，如果您将其传至新的机器，且访问 Googleapis 同样受限，在您执行以下步骤之前请务必再次执行 export KKZONE=cn 命令。

备注

执行以上命令会下载最新版 KubeKey (v1.0.1)，您可以修改命令中的版本号下载指定版本。

为 kk 文件添加可执行权限。

  1. chmod +x kk

创建多节点集群

您可用使用 KubeKey 同时安装 Kubernetes 和 KubeSphere，通过自定义配置文件中的参数创建多节点集群。

创建安装有 KubeSphere 的 Kubernetes 集群（例如使用 --with-kubesphere v3.0.0）：

  1. ./kk create config --with-kubernetes v1.17.9 --with-kubesphere v3.0.0

备注

  • 在 KubeSphere 上充分测试过的 Kubernetes 版本：v1.15.12、v1.16.13、v1.17.9（默认）和 v1.18.6。

  • 如果您在这一步的命令中不添加标志 --with-kubesphere，则不会部署 KubeSphere，只能使用配置文件中的 addons 字段安装 KubeSphere，或者在您后续使用 ./kk create cluster 命令时再次添加该标志。

  • 如果您添加标志 --with-kubesphere 时不指定 KubeSphere 版本，则会安装最新版本的 KubeSphere。

系统将创建默认的 config-sample.yaml 文件。您可以根据您的环境修改此文件。

  1. vi config-sample.yaml
  1. apiVersion: kubekey.kubesphere.io/v1alpha1
  2. kind: Cluster
  3. metadata:
  4.   name: config-sample
  5. spec:
  6.   hosts:
  7.   - {name: master1, address: 192.168.60.152, internalAddress: 192.168.60.152, user: root, password: P@ssw0rd}
  8.   - {name: worker1, address: 192.168.60.153, internalAddress: 192.168.60.153, user: root, password: P@ssw0rd}
  9.   - {name: worker2, address: 192.168.60.154, internalAddress: 192.168.60.154, user: root, password: P@ssw0rd}
  10.   roleGroups:
  11.     etcd:
  12.     - master1
  13.     master:
  14.     - master1
  15.     worker:
  16.     - worker1
  17.     - worker2
  18.   controlPlaneEndpoint:
  19.     domain: lb.kubesphere.local
  20.     address: ""                    
  21.     port: "6443"

执行以下命令使用自定义的配置文件创建集群：

  1. ./kk create cluster -f config-sample.yaml

验证安装

安装结束后，您可以执行以下命令查看安装日志：

  1. kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f

如果返回欢迎日志，则安装成功。

  1. **************************************************
  2. #####################################################
  3. ###              Welcome to KubeSphere!           ###
  4. #####################################################
  5. Console: http://192.168.60.152:30880
  6. Account: admin
  7. Password: P@88w0rd
  8. NOTES：
  9.   1. After logging into the console, please check the
  10.      monitoring status of service components in
  11.      the "Cluster Management". If any service is not
  12.      ready, please wait patiently until all components
  13.      are ready.
  14.   2. Please modify the default password after login.
  15. #####################################################
  16. https://kubesphere.io             20xx-xx-xx xx:xx:xx
  17. #####################################################

登录控制台

您可以使用默认的帐户和密码 admin/P@88w0rd 登录 KubeSphere 控制台并开始使用 KubeSphere。请在登录后修改默认密码。

启用可插拔组件（可选）

以上示例演示了默认的最小化安装流程。如需启用 KubeSphere 的其他组件，请参考启用可插拔组件。

优化系统

  • 更新系统。

    1. yum update

  • 添加所需的内核引导参数。

    1. sudo /sbin/grubby --update-kernel=ALL --args='cgroup_enable=memory cgroup.memory=nokmem swapaccount=1'

  • 启用 overlay2 内核模块。

    1. echo "overlay2" | sudo tee -a /etc/modules-load.d/overlay.conf

  • 刷新动态生成的 grub2 配置。

    1. sudo grub2-set-default 0

  • 调整内核参数并使修改生效。

    1. cat <<EOF | sudo tee -a /etc/sysctl.conf
    2. vm.max_map_count = 262144
    3. fs.may_detach_mounts = 1
    4. net.ipv4.ip_forward = 1
    5. vm.swappiness=1
    6. kernel.pid_max =1000000
    7. fs.inotify.max_user_instances=524288
    8. EOF
    9. sudo sysctl -p

  • 调整系统限制。

    1. vim /etc/security/limits.conf
    2. *                soft    nofile         1024000
    3. *                hard    nofile         1024000
    4. *                soft    memlock        unlimited
    5. *                hard    memlock        unlimited
    6. root             soft    nofile         1024000
    7. root             hard    nofile         1024000
    8. root             soft    memlock        unlimited

  • 删除旧的限制配置。

    1. sudo rm /etc/security/limits.d/20-nproc.conf

  • 重启系统。

    1. reboot