离线安装

离线安装几乎与在线安装相同，不同之处是您必须创建一个本地仓库来托管 Docker 镜像。本教程演示了如何在离线环境安装 KubeSphere 和 Kubernetes。

步骤 1：准备 Linux 主机

请查看下表中对硬件和操作系统的要求。要开始进行多节点安装，您需要按照下列要求准备至少三台主机。

系统要求

系统最低要求（每个节点）
Ubuntu 16.04, 18.04CPU: 2 核，内存：4 G，硬盘：100 G
Debian Buster, StretchCPU: 2 核，内存：4 G，硬盘：100 G
CentOS 7.xCPU: 2 核，内存：4 G，硬盘：100 G
Red Hat Enterprise Linux 7CPU: 2 核，内存：4 G，硬盘：100 G
SUSE Linux Enterprise Server 15/openSUSE Leap 15.2CPU: 2 核，内存：4 G，硬盘：100 G

备注

KubeKey 使用 /var/lib/docker 作为默认路径来存储所有 Docker 相关文件（包括镜像）。建议您添加附加存储卷，分别给 /var/lib/docker 和 /mnt/registry 挂载至少 100G。请参见 fdisk 的参考命令。

节点要求

  • 建议您使用干净的操作系统（不安装任何其他软件），否则可能会有冲突。
  • 请确保每个节点的硬盘至少有 100G。
  • 所有节点必须都能通过 SSH 访问。
  • 所有节点时间同步。
  • 所有节点都应使用 sudo/curl/openssl。

KubeKey 能够同时安装 Kubernetes 和 KubeSphere。根据要安装的 Kubernetes 版本，需要安装的依赖项可能会不同。您可以参考下方列表，查看是否需要提前在您的节点上安装相关依赖项。

依赖项Kubernetes 版本 ≥ 1.18Kubernetes 版本 < 1.18
socat必须可选但建议
conntrack必须可选但建议
ebtables可选但建议可选但建议
ipset可选但建议可选但建议

备注

  • 在离线环境中，您可以使用私有包、RPM 包（适用于 CentOS）或者 Deb 包（适用于 Debian）来安装这些依赖项。
  • 建议您事先创建一个操作系统镜像文件，并且安装好所有相关依赖项。这样，您便可以直接使用该镜像文件在每台机器上安装操作系统，提高部署效率，也不用担心任何依赖项问题。

容器运行时

您的集群必须有一个可用的容器运行时。在离线环境中创建集群之前，您必须手动安装 Docker 或其他容器运行时。

支持的容器运行时版本
Docker19.3.8+
containerd（试验版，未经充分测试）最新版
CRI-O（试验版，未经充分测试）最新版
iSula（试验版，未经充分测试）最新版

网络和 DNS 要求

  • 请确保 /etc/resolv.conf 中的 DNS 地址可用，否则，可能会导致集群中的 DNS 出现问题。
  • 如果您的网络配置使用防火墙规则或安全组，请务必确保基础设施组件可以通过特定端口相互通信。建议您关闭防火墙。有关更多信息，请参见端口要求。
  • 支持的 CNI 插件：Calico 和 Flannel。其他插件也适用（例如 Cilium 和 Kube-OVN 等），但请注意它们未经充分测试。

示例机器

本示例包含三台主机，如下所示，主节点充当任务机。

主机 IP主机名称角色
192.168.0.2mastermaster, etcd
192.168.0.3node1worker
192.168.0.4node2worker

步骤 2：准备一个私有镜像仓库

您可以使用 Harbor 或者其他任意私有镜像仓库。本教程以 Docker 仓库作为示例，并使用自签名证书（如果您有自己的私有镜像仓库，可以跳过这一步）。

使用自签名证书

  1. 执行以下命令生成您自己的证书：

    1. mkdir -p certs
    1. openssl req \
    2. -newkey rsa:4096 -nodes -sha256 -keyout certs/domain.key \
    3. -x509 -days 36500 -out certs/domain.crt

  2. 当您生成自己的证书时，请确保在字段 Common Name 中指定一个域名。例如，本示例中该字段被指定为 dockerhub.kubekey.local。

    自签名证书

启动 Docker 仓库

执行以下命令启动 Docker 仓库：

  1. docker run -d \
  2.   --restart=always \
  3.   --name registry \
  4.   -v "$(pwd)"/certs:/certs \
  5.   -v /mnt/registry:/var/lib/registry \
  6.   -e REGISTRY_HTTP_ADDR=0.0.0.0:443 \
  7.   -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt \
  8.   -e REGISTRY_HTTP_TLS_KEY=/certs/domain.key \
  9.   -p 443:443 \
  10.   registry:2

配置仓库

  1. 在 /etc/hosts 中添加一个条目，将主机名（即仓库域名；在本示例中是 dockerhub.kubekey.local）映射到您机器的私有 IP 地址，如下所示。

    1. # docker registry
    2. 192.168.0.2 dockerhub.kubekey.local

  2. 执行以下命令，复制证书到指定目录，并使 Docker 信任该证书。

    1. mkdir -p  /etc/docker/certs.d/dockerhub.kubekey.local
    1. cp certs/domain.crt  /etc/docker/certs.d/dockerhub.kubekey.local/ca.crt

    备注

    证书的路径与域名相关联。当您复制路径时，如果与上面设置的路径不同，请使用实际域名。

  3. 要验证私有仓库是否有效，您可以先复制一个镜像到您的本地机器，然后使用 docker push 和 docker pull 来测试。

步骤 3：下载 KubeKey

与在 Linux 上在线安装 KubeSphere 相似，您需要事先下载 KubeKey v1.2.0。下载 tar.gz 文件，将它传输到充当任务机的本地机器上进行安装。解压文件后，执行以下命令，使 kk 可执行。

  1. chmod +x kk

步骤 4：准备安装镜像

当您在 Linux 上安装 KubeSphere 和 Kubernetes 时，需要准备一个包含所有必需镜像的镜像包，并事先下载 Kubernetes 二进制文件。

  1. 使用以下命令从能够访问互联网的机器上下载镜像清单文件 images-list.txt：

    1. curl -L -O https://github.com/kubesphere/ks-installer/releases/download/v3.2.0/images-list.txt

    备注

    该文件根据不同的模块列出了 ##+modulename 下的镜像。您可以按照相同的规则把自己的镜像添加到这个文件中。要查看完整文件，请参见附录。

  2. 下载 offline-installation-tool.sh。

    1. curl -L -O https://github.com/kubesphere/ks-installer/releases/download/v3.2.0/offline-installation-tool.sh

  3. 使 .sh 文件可执行。

    1. chmod +x offline-installation-tool.sh

  4. 您可以执行命令 ./offline-installation-tool.sh -h 来查看如何使用脚本：

    1. [email protected]:/home/ubuntu# ./offline-installation-tool.sh -h
    2. Usage:
    4.   ./offline-installation-tool.sh [-l IMAGES-LIST] [-d IMAGES-DIR] [-r PRIVATE-REGISTRY] [-v KUBERNETES-VERSION ]
    6. Description:
    7.   -b                     : save kubernetes' binaries.
    8.   -d IMAGES-DIR          : the dir of files (tar.gz) which generated by `docker save`. default: ./kubesphere-images
    9.   -l IMAGES-LIST         : text file with list of images.
    10.   -r PRIVATE-REGISTRY    : target private registry:port.
    11.   -s                     : save model will be applied. Pull the images in the IMAGES-LIST and save images as a tar.gz file.
    12.   -v KUBERNETES-VERSION  : download kubernetes' binaries. default: v1.17.9
    13.   -h                     : usage message

  5. 下载 Kubernetes 二进制文件。

    1. ./offline-installation-tool.sh -b -v v1.21.5

    如果您无法访问 Google 的对象存储服务，请运行以下命令添加环境变量以变更来源。

    1. export KKZONE=cn;./offline-installation-tool.sh -b -v v1.21.5

    备注

    • 您可以根据自己的需求变更下载的 Kubernetes 版本。安装 KubeSphere 3.2.0 的建议 Kubernetes 版本：v1.19.x、v1.20.x、v1.21.x 或 v1.22.x（实验性支持）。如果不指定 Kubernetes 版本，KubeKey 将默认安装 Kubernetes v1.21.5。有关受支持的 Kubernetes 版本的更多信息，请参见支持矩阵。

    • 运行脚本后，会自动创建一个文件夹 kubekey。请注意，您稍后创建集群时，该文件和 kk 必须放在同一个目录下。

  6. 在 offline-installation-tool.sh 中拉取镜像。

    1. ./offline-installation-tool.sh -s -l images-list.txt -d ./kubesphere-images

    备注

    您可以根据需要选择拉取的镜像。例如，如果已经有一个 Kubernetes 集群了，您可以在 images-list.text 中删除 ##k8s-images 和在它下面的相关镜像。

步骤 5：推送镜像至私有仓库

将打包的镜像文件传输至您的本地机器，并运行以下命令把它推送至仓库。

  1. ./offline-installation-tool.sh -l images-list.txt -d ./kubesphere-images -r dockerhub.kubekey.local

备注

命令中的域名是 dockerhub.kubekey.local。请确保使用您自己仓库的地址。

步骤 6：创建集群

本教程中，KubeSphere 安装在多个节点上，因此您需要指定一个配置文件以添加主机信息。此外，离线安装时，请务必将 .spec.registry.privateRegistry 设置为您自己的仓库地址。有关更多信息，请参见下面的完整 YAML 文件。

创建示例配置文件

执行以下命令生成示例配置文件用于安装：

  1. ./kk create config [--with-kubernetes version] [--with-kubesphere version] [(-f | --file) path]

例如：

  1. ./kk create config --with-kubernetes v1.21.5 --with-kubesphere v3.2.0 -f config-sample.yaml

备注

  • 请确保 Kubernetes 版本和您下载的版本一致。

  • 如果您在这一步的命令中不添加标志 --with-kubesphere，则不会部署 KubeSphere，只能使用配置文件中的 addons 字段安装，或者在您后续使用 ./kk create cluster 命令时再次添加这个标志。

编辑配置文件

编辑生成的配置文件 config-sample.yaml。请参考以下示例：

警告

离线安装时，您必须指定 privateRegistry，在本示例中是 dockerhub.kubekey.local。

  1. apiVersion: kubekey.kubesphere.io/v1alpha1
  2. kind: Cluster
  3. metadata:
  4.   name: sample
  5. spec:
  6.   hosts:
  7.   - {name: master, address: 192.168.0.2, internalAddress: 192.168.0.2, password: [email protected]}
  8.   - {name: node1, address: 192.168.0.3, internalAddress: 192.168.0.3, password: [email protected]}
  9.   - {name: node2, address: 192.168.0.4, internalAddress: 192.168.0.4, password: [email protected]}
  10.   roleGroups:
  11.     etcd:
  12.     - master
  13.     master:
  14.     - master
  15.     worker:
  16.     - master
  17.     - node1
  18.     - node2
  19.   controlPlaneEndpoint:
  20.     domain: lb.kubesphere.local
  21.     address: ""
  22.     port: "6443"
  23.   kubernetes:
  24.     version: v1.21.5
  25.     imageRepo: kubesphere
  26.     clusterName: cluster.local
  27.   network:
  28.     plugin: calico
  29.     kubePodsCIDR: 10.233.64.0/18
  30.     kubeServiceCIDR: 10.233.0.0/18
  31.   registry:
  32.     registryMirrors: []
  33.     insecureRegistries: []
  34.     privateRegistry: dockerhub.kubekey.local  # Add the private image registry address here. 
  35.   addons: []
  38. ---
  39. apiVersion: installer.kubesphere.io/v1alpha1
  40. kind: ClusterConfiguration
  41. metadata:
  42.   name: ks-installer
  43.   namespace: kubesphere-system
  44.   labels:
  45.     version: v3.2.0
  46. spec:
  47.   persistence:
  48.     storageClass: ""
  49.   authentication:
  50.     jwtSecret: ""
  51.   zone: ""
  52.   local_registry: ""
  53.   etcd:
  54.     monitoring: false
  55.     endpointIps: localhost
  56.     port: 2379
  57.     tlsEnable: true
  58.   common:
  59.     redis:
  60.       enabled: false
  61.     redisVolumSize: 2Gi
  62.     openldap:
  63.       enabled: false
  64.     openldapVolumeSize: 2Gi
  65.     minioVolumeSize: 20Gi
  66.     monitoring:
  67.       endpoint: http://prometheus-operated.kubesphere-monitoring-system.svc:9090
  68.     es:
  69.       elasticsearchMasterVolumeSize: 4Gi
  70.       elasticsearchDataVolumeSize: 20Gi
  71.       logMaxAge: 7
  72.       elkPrefix: logstash
  73.       basicAuth:
  74.         enabled: false
  75.         username: ""
  76.         password: ""
  77.       externalElasticsearchUrl: ""
  78.       externalElasticsearchPort: ""
  79.   console:
  80.     enableMultiLogin: true
  81.     port: 30880
  82.   alerting:
  83.     enabled: false
  84.     # thanosruler:
  85.     #   replicas: 1
  86.     #   resources: {}
  87.   auditing:
  88.     enabled: false
  89.   devops:
  90.     enabled: false
  91.     jenkinsMemoryLim: 2Gi
  92.     jenkinsMemoryReq: 1500Mi
  93.     jenkinsVolumeSize: 8Gi
  94.     jenkinsJavaOpts_Xms: 512m
  95.     jenkinsJavaOpts_Xmx: 512m
  96.     jenkinsJavaOpts_MaxRAM: 2g
  97.   events:
  98.     enabled: false
  99.     ruler:
  100.       enabled: true
  101.       replicas: 2
  102.   logging:
  103.     enabled: false
  104.     logsidecar:
  105.       enabled: true
  106.       replicas: 2
  107.   metrics_server:
  108.     enabled: false
  109.   monitoring:
  110.     storageClass: ""
  111.     prometheusMemoryRequest: 400Mi
  112.     prometheusVolumeSize: 20Gi
  113.   multicluster:
  114.     clusterRole: none
  115.   network:
  116.     networkpolicy:
  117.       enabled: false
  118.     ippool:
  119.       type: none
  120.     topology:
  121.       type: none
  122.   notification:
  123.     enabled: false
  124.   openpitrix:
  125.     store:
  126.       enabled: false
  127.   servicemesh:
  128.     enabled: false
  129.   kubeedge:
  130.     enabled: false
  131.     cloudCore:
  132.       nodeSelector: {"node-role.kubernetes.io/worker": ""}
  133.       tolerations: []
  134.       cloudhubPort: "10000"
  135.       cloudhubQuicPort: "10001"
  136.       cloudhubHttpsPort: "10002"
  137.       cloudstreamPort: "10003"
  138.       tunnelPort: "10004"
  139.       cloudHub:
  140.         advertiseAddress:
  141.           - ""
  142.         nodeLimit: "100"
  143.       service:
  144.         cloudhubNodePort: "30000"
  145.         cloudhubQuicNodePort: "30001"
  146.         cloudhubHttpsNodePort: "30002"
  147.         cloudstreamNodePort: "30003"
  148.         tunnelNodePort: "30004"
  149.     edgeWatcher:
  150.       nodeSelector: {"node-role.kubernetes.io/worker": ""}
  151.       tolerations: []
  152.       edgeWatcherAgent:
  153.         nodeSelector: {"node-role.kubernetes.io/worker": ""}
  154.         tolerations: []

信息

有关这些参数的更多信息，请参见多节点安装和 Kubernetes 集群配置。要在 config-sample.yaml 中启用可插拔组件，请参考启用可插拔组件中的更多详情。

步骤 7：开始安装

确定完成上面所有步骤后，您可以执行以下命令。

  1. ./kk create cluster -f config-sample.yaml

警告

将可执行文件 kk 和包含 Kubernetes 二进制文件的文件夹 kubekey 传输至任务机机器用于安装后，必须将它们放在相同目录中，然后再执行上面的命令。

步骤 8：验证安装

安装完成后，您会看到以下内容：

  1. #####################################################
  2. ###              Welcome to KubeSphere!           ###
  3. #####################################################
  5. Console: http://192.168.0.2:30880
  6. Account: admin
  7. Password: [email protected]
  9. NOTES：
  10.   1. After you log into the console, please check the
  11.      monitoring status of service components in
  12.      the "Cluster Management". If any service is not
  13.      ready, please wait patiently until all components
  14.      are up and running.
  15.   2. Please change the default password after login.
  17. #####################################################
  18. https://kubesphere.io             20xx-xx-xx xx:xx:xx
  19. #####################################################

现在，您可以通过 http://{IP}:30880 使用默认帐户和密码 admin/[[email protected]](https://kubesphere.io/cdn-cgi/l/email-protection) 访问 KubeSphere 的 Web 控制台。

备注

要访问控制台，请确保在您的安全组中打开端口 30880。

附录

KubeSphere 3.2.0 镜像清单

  1. ##k8s-images
  2. kubesphere/kube-apiserver:v1.22.1
  3. kubesphere/kube-controller-manager:v1.22.1
  4. kubesphere/kube-proxy:v1.22.1
  5. kubesphere/kube-scheduler:v1.22.1
  6. kubesphere/kube-apiserver:v1.21.5
  7. kubesphere/kube-controller-manager:v1.21.5
  8. kubesphere/kube-proxy:v1.21.5
  9. kubesphere/kube-scheduler:v1.21.5
  10. kubesphere/kube-apiserver:v1.20.10
  11. kubesphere/kube-controller-manager:v1.20.10
  12. kubesphere/kube-proxy:v1.20.10
  13. kubesphere/kube-scheduler:v1.20.10
  14. kubesphere/kube-apiserver:v1.19.9
  15. kubesphere/kube-controller-manager:v1.19.9
  16. kubesphere/kube-proxy:v1.19.9
  17. kubesphere/kube-scheduler:v1.19.9
  18. kubesphere/pause:3.5
  19. kubesphere/pause:3.4.1
  20. coredns/coredns:1.8.0
  21. calico/cni:v3.20.0
  22. calico/kube-controllers:v3.20.0
  23. calico/node:v3.20.0
  24. calico/pod2daemon-flexvol:v3.20.0
  25. calico/typha:v3.20.0
  26. kubesphere/flannel:v0.12.0
  27. openebs/provisioner-localpv:2.10.1
  28. openebs/linux-utils:2.10.0
  29. kubesphere/k8s-dns-node-cache:1.15.12
  30. ##kubesphere-images
  31. kubesphere/ks-installer:v3.2.0
  32. kubesphere/ks-apiserver:v3.2.0
  33. kubesphere/ks-console:v3.2.0
  34. kubesphere/ks-controller-manager:v3.2.0
  35. kubesphere/kubectl:v1.20.0
  36. kubesphere/kubefed:v0.8.1
  37. kubesphere/tower:v0.2.0
  38. kubesphere/kubectl:v1.19.1
  39. minio/minio:RELEASE.2019-08-07T01-59-21Z
  40. minio/mc:RELEASE.2019-08-07T23-14-43Z
  41. csiplugin/snapshot-controller:v4.0.0
  42. kubesphere/nginx-ingress-controller:v0.48.1
  43. mirrorgooglecontainers/defaultbackend-amd64:1.4
  44. kubesphere/metrics-server:v0.4.2
  45. redis:5.0.12-alpine
  46. haproxy:2.0.22-alpine
  47. alpine:3.14
  48. osixia/openldap:1.3.0
  49. kubesphere/netshoot:v1.0
  50. ##kubeedge-images
  51. kubeedge/cloudcore:v1.7.2
  52. kubesphere/edge-watcher:v0.1.1
  53. kubesphere/edge-watcher-agent:v0.1.0
  54. ##gatekeeper-images
  55. openpolicyagent/gatekeeper:v3.5.2
  56. ##openpitrix-images
  57. kubesphere/openpitrix-jobs:v3.2.0
  58. ##kubesphere-devops-images
  59. kubesphere/devops-apiserver:v3.2.0
  60. kubesphere/devops-controller:v3.2.0
  61. kubesphere/devops-tools:v3.2.0
  62. kubesphere/ks-jenkins:v3.2.0-2.249.1
  63. jenkins/jnlp-slave:3.27-1
  64. kubesphere/builder-base:v3.2.0
  65. kubesphere/builder-nodejs:v3.2.0
  66. kubesphere/builder-maven:v3.2.0
  67. kubesphere/builder-go:v3.2.0
  68. kubesphere/builder-go:v3.2.0
  69. kubesphere/s2ioperator:v3.2.0
  70. kubesphere/s2irun:v3.2.0
  71. kubesphere/s2i-binary:v3.2.0
  72. kubesphere/tomcat85-java11-centos7:v3.2.0
  73. kubesphere/tomcat85-java11-runtime:v3.2.0
  74. kubesphere/tomcat85-java8-centos7:v3.2.0
  75. kubesphere/tomcat85-java8-runtime:v3.2.0
  76. kubesphere/java-11-centos7:v3.2.0
  77. kubesphere/java-8-centos7:v3.2.0
  78. kubesphere/java-8-runtime:v3.2.0
  79. kubesphere/java-11-runtime:v3.2.0
  80. kubesphere/nodejs-8-centos7:v3.2.0
  81. kubesphere/nodejs-6-centos7:v3.2.0
  82. kubesphere/nodejs-4-centos7:v3.2.0
  83. kubesphere/python-36-centos7:v3.2.0
  84. kubesphere/python-35-centos7:v3.2.0
  85. kubesphere/python-34-centos7:v3.2.0
  86. kubesphere/python-27-centos7:v3.2.0
  87. ##kubesphere-monitoring-images
  88. jimmidyson/configmap-reload:v0.3.0
  89. prom/prometheus:v2.26.0
  90. kubesphere/prometheus-config-reloader:v0.43.2
  91. kubesphere/prometheus-operator:v0.43.2
  92. kubesphere/kube-rbac-proxy:v0.8.0
  93. kubesphere/kube-state-metrics:v1.9.7
  94. prom/node-exporter:v0.18.1
  95. kubesphere/k8s-prometheus-adapter-amd64:v0.6.0
  96. prom/alertmanager:v0.21.0
  97. thanosio/thanos:v0.18.0
  98. grafana/grafana:7.4.3
  99. kubesphere/kube-rbac-proxy:v0.8.0
  100. kubesphere/notification-manager-operator:v1.4.0
  101. kubesphere/notification-manager:v1.4.0
  102. kubesphere/notification-tenant-sidecar:v3.2.0
  103. ##kubesphere-logging-images
  104. kubesphere/elasticsearch-curator:v5.7.6
  105. kubesphere/elasticsearch-oss:6.7.0-1
  106. kubesphere/fluentbit-operator:v0.11.0
  107. docker:19.03
  108. kubesphere/fluent-bit:v1.8.3
  109. kubesphere/log-sidecar-injector:1.1
  110. elastic/filebeat:6.7.0
  111. kubesphere/kube-events-operator:v0.3.0
  112. kubesphere/kube-events-exporter:v0.3.0
  113. kubesphere/kube-events-ruler:v0.3.0
  114. kubesphere/kube-auditing-operator:v0.2.0
  115. kubesphere/kube-auditing-webhook:v0.2.0
  116. ##istio-images
  117. istio/pilot:1.11.1
  118. istio/proxyv2:1.11.1
  119. jaegertracing/jaeger-operator:1.27
  120. jaegertracing/jaeger-agent:1.27
  121. jaegertracing/jaeger-collector:1.27
  122. jaegertracing/jaeger-query:1.27
  123. jaegertracing/jaeger-es-index-cleaner:1.27
  124. kubesphere/kiali-operator:v1.38.1
  125. kubesphere/kiali:v1.38
  126. ##example-images
  127. busybox:1.31.1
  128. nginx:1.14-alpine
  129. joosthofman/wget:1.0
  130. nginxdemos/hello:plain-text
  131. wordpress:4.8-apache
  132. mirrorgooglecontainers/hpa-example:latest
  133. java:openjdk-8-jre-alpine
  134. fluent/fluentd:v1.4.2-2.0
  135. perl:latest
  136. kubesphere/examples-bookinfo-productpage-v1:1.16.2
  137. kubesphere/examples-bookinfo-reviews-v1:1.16.2
  138. kubesphere/examples-bookinfo-reviews-v2:1.16.2
  139. kubesphere/examples-bookinfo-details-v1:1.16.2
  140. kubesphere/examples-bookinfo-ratings-v1:1.16.3
  141. ##weave-scope-images
  142. weaveworks/scope:1.13.0