使用CronFederatedHPA自动伸缩FederatedHPA

在Karmada中，CronFederatedHPA用于伸缩工作负载的副本数（任何具有scale子资源的工作负载，如Deployment）或FederatedHPA的 minReplicas/maxReplicas，目的是提前伸缩业务以满足突发的负载峰值。

CronFederatedHPA旨在在特定时间内扩展资源。当工作负载仅由CronFederatedHPA直接进行扩展时，在到达指定的时间为止，其副本将保持不变。这意味着直到指定时间之前，它失去了处理更多请求的能力。
因此，为了确保工作负载可以提前扩容以满足后续高峰负载和后续实时业务需求，我们建议首先使用CronFederatedHPA来伸缩FederatedHPA。然后，FederatedHPA可以根据其度量标准来伸缩工作负载的规模。

本文档将为您提供一个示例，演示如何将 CronFederatedHPA 应用于 FederatedHPA。

前提条件

Karmada 已安装

您可以参考 快速入门 安装 Karmada，或直接运行 hack/local-up-karmada.sh 脚本，该脚本也用于运行 E2E 测试。

在 member1 和 member2 集群中部署工作负载

我们需要在 member1 和 member2 集群中部署 deployment（2 个副本）：

  1. apiVersion: apps/v1
  2. kind: Deployment
  3. metadata:
  4.   name: nginx
  5.   labels:
  6.     app: nginx
  7. spec:
  8.   replicas: 2
  9.   selector:
  10.     matchLabels:
  11.       app: nginx
  12.   template:
  13.     metadata:
  14.       labels:
  15.         app: nginx
  16.     spec:
  17.       containers:
  18.       - image: nginx
  19.         name: nginx
  20.         resources:
  21.           requests:
  22.             cpu: 25m
  23.             memory: 64Mi
  24.           limits:
  25.             cpu: 25m
  26.             memory: 64Mi
  27. ---
  28. apiVersion: policy.karmada.io/v1alpha1
  29. kind: PropagationPolicy
  30. metadata:
  31.   name: nginx-propagation
  32. spec:
  33.   resourceSelectors:
  34.     - apiVersion: apps/v1
  35.       kind: Deployment
  36.       name: nginx
  37.   placement:
  38.     clusterAffinity:
  39.       clusterNames:
  40.         - member1
  41.         - member2
  42.     replicaScheduling:
  43.       replicaDivisionPreference: Weighted
  44.       replicaSchedulingType: Divided
  45.       weightPreference:
  46.         staticWeightList:
  47.           - targetCluster:
  48.               clusterNames:
  49.                 - member1
  50.             weight: 1
  51.           - targetCluster:
  52.               clusterNames:
  53.                 - member2
  54.             weight: 1

部署完成后，您可以检查已创建的 pods：

  1. $ karmadactl get pods
  2. NAME                     CLUSTER   READY   STATUS    RESTARTS   AGE
  3. nginx-777bc7b6d7-cmt6k   member1   1/1     Running   0          27m
  4. nginx-777bc7b6d7-8lmcg   member2   1/1     Running   0          27m

在 Karmada 控制平面中部署 FederatedHPA

让我们在Karmada控制平面中创建一个FederatedHPA，用来管理跨集群的nginx deployment：

  1. apiVersion: autoscaling.karmada.io/v1alpha1
  2. kind: FederatedHPA
  3. metadata:
  4.   name: nginx-fhpa
  5. spec:
  6.   scaleTargetRef:
  7.     apiVersion: apps/v1
  8.     kind: Deployment
  9.     name: nginx
  10.   minReplicas: 1
  11.   maxReplicas: 10
  12.   behavior:
  13.     scaleDown:
  14.       stabilizationWindowSeconds: 10
  15.     scaleUp:
  16.       stabilizationWindowSeconds: 10
  17.   metrics:
  18.     - type: Resource
  19.       resource:
  20.         name: cpu
  21.         target:
  22.           type: Utilization
  23.           averageUtilization: 80

FederatedHPA会在平均CPU利用率超过80%时扩容工作负载的副本。相反，如果平均CPU利用率低于80%，则会缩容工作负载的副本数量。

在 Karmada 控制平面中部署CronFederatedHPA

为了自动伸缩FederatedHPA的minReplicas，让我们在Karmada控制平面中创建CronFederatedHPA：

  1. apiVersion: autoscaling.karmada.io/v1alpha1
  2. kind: CronFederatedHPA
  3. metadata:
  4.   name: nginx-cronfhpa
  5.   namespace: default
  6. spec:
  7.    scaleTargetRef:
  8.       apiVersion: autoscaling.karmada.io/v1alpha1
  9.       kind: FederatedHPA
  10.       name: nginx-fhpa
  11.    rules:
  12.    - name: "scale-up"
  13.      schedule: "*/1 * * * *"
  14.      targetMinReplicas: 5

spec.schedule 遵循以下格式：

  1. # ┌───────────── minute (0 - 59)
  2. # │ ┌───────────── hour (0 - 23)
  3. # │ │ ┌───────────── day of the month (1 - 31)
  4. # │ │ │ ┌───────────── month (1 - 12)
  5. # │ │ │ │ ┌───────────── day of the week (0 - 6) (Sunday to Saturday;
  6. # │ │ │ │ │                                   7 is also Sunday on some systems)
  7. # │ │ │ │ │                                   OR sun, mon, tue, wed, thu, fri, sat
  8. # │ │ │ │ │
  9. # * * * * *

表达式 */1 * * * * 表示每分钟将FederatedHPA的minReplicas更新为5。此操作能确保工作负载会被扩容到至少5个副本，以处理突发流量洪峰。

测试扩容功能

等待一分钟后，FederatedHPA的minReplicas会被CronFederatedHPA更新为5，此操作会触发 nginx deployment 的副本数被扩容为5。检查Pod的数量，看副本是否已扩容：

  1. $ karmadactl get po
  2. NAME                     CLUSTER   READY   STATUS    RESTARTS   AGE
  3. nginx-777bc7b6d7-7vl2r   member1   1/1     Running   0          59s
  4. nginx-777bc7b6d7-cmt6k   member1   1/1     Running   0          27m
  5. nginx-777bc7b6d7-pc5dk   member1   1/1     Running   0          59s
  6. nginx-777bc7b6d7-8lmcg   member2   1/1     Running   0          27m
  7. nginx-777bc7b6d7-pghl7   member2   1/1     Running   0          59s

如果业务需求需要更多副本，FederatedHPA将根据指标（例如CPU利用率）自动伸缩副本数。

通过检查CronFederatedHPA的状态字段，您可以查看伸缩历史记录：

  1. apiVersion: autoscaling.karmada.io/v1alpha1
  2. kind: CronFederatedHPA
  3. metadata:
  4.   name: nginx-cronfhpa
  5.   namespace: default
  6. spec:
  7.   rules:
  8.   - failedHistoryLimit: 3
  9.     name: scale-up
  10.     schedule: '*/1 * * * *'
  11.     successfulHistoryLimit: 3
  12.     suspend: false
  13.     targetMinReplicas: 5
  14.   scaleTargetRef:
  15.     apiVersion: autoscaling.karmada.io/v1alpha1
  16.     kind: FederatedHPA
  17.     name: nginx-fhpa
  18. status:
  19.   executionHistories:
  20.   - nextExecutionTime: "2023-07-29T07:53:00Z"  # 下一次执行时间
  21.     ruleName: scale-up
  22.     successfulExecutions:
  23.     - appliedMinReplicas: 5                    # CronFederatedHPA将 minReplicas 更新为5
  24.       executionTime: "2023-07-29T07:52:00Z"    # 上一次实际执行时间
  25.       scheduleTime: "2023-07-29T07:52:00Z"     # 上一次期待执行时间

伸缩历史包括成功和失败操作的信息。