Harvester Cloud Provider

你可以使用内置的 Harvester 主机驱动在 Rancher 中配置 RKE1RKE2 集群。Harvester 会为这些 Kubernetes 集群提供负载均衡器集群持久存储支持。

你将在本文中学习:

部署

前提

  • Kubernetes 集群是在 Harvester 虚拟机之上构建的。
  • 作为 Kubernetes 节点运行的 Harvester 虚拟机位于相同的命名空间中。

使用 Harvester 主机驱动部署到 RKE1 集群

使用 Harvester 主机驱动启动 RKE 集群时,你可以执行两个步骤来部署 Harvester 云提供商:

  • 选择 Harvester(Out-of-tree) 选项。

    Harvester Cloud Provider - 图1

  • 从 Rancher 应用市场中安装 Harvester Cloud Provider

    Harvester Cloud Provider - 图2

Harvester Cloud Provider - 图3备注

你需要指定集群名称。如果未指定集群名称,则会使用默认值 kubernetes集群名称用来区分 Harvester 负载均衡器的所有权。

  • 如有需要,从 Rancher 应用市场中安装 Harvester CSI Driver

    Harvester Cloud Provider - 图4

使用 Harvester 主机驱动部署到 RKE2 集群[实验功能]

使用 Harvester 主机驱动启动 RKE2 集群时,选择 Harvester 云提供商。然后,主机驱动将自动部署 CSI 驱动和 CCM。

Harvester Cloud Provider - 图5

使用 Harvester 主机驱动部署到 K3s 集群[实验性]

  • 为 K3s 选择 Kubernetes 版本,并点击 Edit as YAML 按钮,来配置 K3s 集群 YAML(对于现有集群,你也可以点击 Edit YAML 按钮进行更新):

    Harvester Cloud Provider - 图6

  • 编辑 K3s 集群 YAML。

    • 设置 disable-cloud-provider: true 以禁用默认的 K3s 云提供商。

    • 添加 cloud-provider=external 以使用 Harvester 云提供商。

      Harvester Cloud Provider - 图7

  • 生成 addon 配置并放入 K3s 虚拟机 /etc/kubernetes/cloud-config

部署外部云提供商

对于基于 RKE2 和 K3s 的集群而言,部署外部云提供商的步骤是相似的。

按照上述步骤禁用 in-tree 云提供商后,你可以通过以下方式部署外部云提供商:

Harvester Cloud Provider - 图8

示例 manifest 如下:

  1. apiVersion: helm.cattle.io/v1
  2. kind: HelmChart
  3. metadata:
  4. name: harvester-cloud-provider
  5. namespace: kube-system
  6. spec:
  7. targetNamespace: kube-system
  8. bootstrap: true
  9. repo: https://charts.harvesterhci.io/
  10. chart: harvester-cloud-provider
  11. version: 0.1.12
  12. helmVersion: v3

云提供商需要一个 kubeconfig 文件才能工作,你可以使用 harvester/cloud-provider-harvester 仓库中的 generate_addon.sh 脚本来生成一个有限范围的文件。

注意:脚本需要访问 Harvester 集群 kubeconfig 才能工作。此外,命名空间需要是将在其中创建工作负载集群的命名空间。

  1. # 依赖 kubectl 来操作 Harvester 集群
  2. ./deploy/generate_addon.sh <serviceaccount name> <namespace>

输出将如下所示:

  1. (⎈ |local:default)➜ cloud-provider-harvester git:(master) ./deploy/generate_addon.sh harvester-cloud-provider default
  2. Creating target directory to hold files in ./tmp/kube...done
  3. Creating a service account in default namespace: harvester-cloud-provider
  4. W0506 16:44:15.429068 3008674 helpers.go:598] --dry-run is deprecated and can be replaced with --dry-run=client.
  5. serviceaccount/harvester-cloud-provider configured
  6. Creating a role in default namespace: harvester-cloud-provider
  7. role.rbac.authorization.k8s.io/harvester-cloud-provider unchanged
  8. Creating a rolebinding in default namespace: harvester-cloud-provider
  9. W0506 16:44:23.798293 3008738 helpers.go:598] --dry-run is deprecated and can be replaced with --dry-run=client.
  10. rolebinding.rbac.authorization.k8s.io/harvester-cloud-provider configured
  11. Getting secret of service account harvester-cloud-provider on default
  12. Secret name: harvester-cloud-provider-token-5zkk9
  13. Extracting ca.crt from secret...done
  14. Getting user token from secret...done
  15. Setting current context to: local
  16. Cluster name: local
  17. Endpoint: https://HARVESTER_ENDPOINT/k8s/clusters/local
  18. Preparing k8s-harvester-cloud-provider-default-conf
  19. Setting a cluster entry in kubeconfig...Cluster "local" set.
  20. Setting token credentials entry in kubeconfig...User "harvester-cloud-provider-default-local" set.
  21. Setting a context entry in kubeconfig...Context "harvester-cloud-provider-default-local" created.
  22. Setting the current-context in the kubeconfig file...Switched to context "harvester-cloud-provider-default-local".
  23. ########## cloud config ############
  24. apiVersion: v1
  25. clusters:
  26. - cluster:
  27. certificate-authority-data: CACERT
  28. server: https://HARVESTER-ENDPOINT/k8s/clusters/local
  29. name: local
  30. contexts:
  31. - context:
  32. cluster: local
  33. namespace: default
  34. user: harvester-cloud-provider-default-local
  35. name: harvester-cloud-provider-default-local
  36. current-context: harvester-cloud-provider-default-local
  37. kind: Config
  38. preferences: {}
  39. users:
  40. - name: harvester-cloud-provider-default-local
  41. user:
  42. token: TOKEN

现在,你可以通过节点池 Advanced Options 中的 user-data 注入这个 cloud-config 文件: Harvester Cloud Provider - 图9

有了这些设置,K3s/RKE2 集群应该可以在你使用外部云提供商时成功配置。

升级 Cloud Provider

升级 RKE2

你可以通过升级 RKE2 版本来升级 Cloud Provider。要升级 RKE2 集群,你可以在 Rancher UI 中执行以下操作:

  1. 单击 ☰ > Cluster Management
  2. 找到要升级的 guest 集群,然后选择 ⋮ > Edit Config
  3. 选择 Kubernetes Version
  4. 单击 Save

升级 RKE/K3s

你可以通过 Rancher UI 升级 RKE/K3s cloud provider,如下所示:

  1. 单击 ☰ > RKE/K3s Cluster > Apps > Installed Apps
  2. 找到 cloud provider 表并选择 ⋮ > Edit/Upgrade
  3. 选择 Version
  4. 单击 Next > Update

负载均衡器支持

部署 Harvester Cloud Provider 后,你可以使用 Kubernetes LoadBalancer 服务将集群内的微服务公开给外部。在你创建 Kubernetes LoadBalancer 服务时,会为该服务分配一个 Harvester 负载均衡器,你可以通过 Rancher UI 中的 Add-on Config 对其进行编辑。

Harvester Cloud Provider - 图10

IPAM

Harvester 的内置负载均衡器同时支持 pooldhcp 模式。你可以在 Rancher UI 中选择模式,随后 Harvester 将注释 cloudprovider.harvesterhci.io/ipam 添加到后面的服务中。

  • pool:需要提前在 Harvester 中配置一个 IP 地址池。Harvester LoadBalancer Controller 将从 IP 地址池中为负载均衡器分配一个 IP 地址。

    Harvester Cloud Provider - 图11

  • dhcp:需要 DHCP 服务器。Harvester LoadBalancer Controller 将从 DHCP 服务器请求 IP 地址。

Harvester Cloud Provider - 图12备注

不允许修改 IPAM 模式。如果需要修改 IPAM 模式,你需要创建一个新服务。

健康检查

Harvester 负载均衡器支持 TCP 健康检查。如果启用了健康检查选项,你可以在 Rancher UI 中指定参数。

Harvester Cloud Provider - 图13

你也可以手动将注释添加到服务来指定参数。支持以下注释:

注释键值类型是否必须描述
cloudprovider.harvesterhci.io/healthcheck-portstringtrue指定端口。探针将访问由后端服务器 IP 和端口组成的地址。
cloudprovider.harvesterhci.io/healthcheck-success-thresholdstringfalse指定健康检查成功阈值。默认值为 1。如果探针连续检测到某个地址的成功次数达到成功阈值,后端服务器就可以开始转发流量。
cloudprovider.harvesterhci.io/healthcheck-failure-thresholdstringfalse指定健康检查失败阈值。默认值为 3。如果健康检查失败的数量达到失败阈值,后端服务器将停止转发流量。
cloudprovider.harvesterhci.io/healthcheck-periodsecondsstringfalse指定健康检查周期。默认值为 5 秒。
cloudprovider.harvesterhci.io/healthcheck-timeoutsecondsstringfalse指定每次健康检查的超时时间。默认值为 3 秒。