在单集群中安装多个 Istio 控制面

以下信息描述了一个实验性功能，仅用于评估。

本指南向您演示在单集群中安装多个 Istio 控制面的过程以及将工作负载的作用域指定到特定控制面的方式。 这个部署模型采用单个 Kubernetes 控制面以及多个 Istio 控制面和多个网格。 网格之间的分离通过 Kubernetes 命名空间和 RBAC 实现。

Multiple meshes in a single cluster

Multiple meshes in a single cluster

使用 discoverySelectors，您可以将集群中 Kubernetes 资源的作用域指定到某个 Istio 控制面管理的特定命名空间。 这包括用于配置网格的 Istio 自定义资源（例如 Gateway、VirtualService、DestinationRule 等）。 此外，discoverySelectors 可用于配置哪个命名空间应包括用于特定 Istio 控制面的 istio-ca-root-cert ConfigMap。 这些功能共同允许网格操作员为给定的控制面指定命名空间，从而基于一个或多个命名空间的边界为多个网格启用软多租户。 本指南使用 discoverySelectors 以及 Istio 的修订功能来演示如何在单集群上部署两个网格，每个网格使用适当作用域的集群资源子集。

开始之前

本指南要求您有一个 Kubernetes 集群，其上安装了任一支持的 Kubernetes 版本： 1.26, 1.27, 1.28, 1.29。

本集群将包含两个不同的系统命名空间中安装的两个控制面。 网格应用负载将运行在多个应用特定的命名空间中，每个命名空间基于修订和发现选择器配置与一个或另一个控制面关联。

集群配置

部署多个控制面

在单集群上部署多个 Istio 控制面可通过为每个控制面使用不同的系统命名空间来达成。 Istio 修订和 discoverySelectors 然后用于确定每个控制面托管的资源和工作负载的作用域。

Istio 默认仅使用 discoverySelectors 确定工作负载端点的作用域。 若要启用包括配置资源在内的完整资源作用域，ENABLE_ENHANCED_RESOURCE_SCOPING 特性标记必须被设置为 true。

  1. 创建第一个系统命名空间 usergroup-1 并在其中部署 istiod：

    1. $ kubectl create ns usergroup-1
    2. $ kubectl label ns usergroup-1 usergroup=usergroup-1
    3. $ istioctl install -y -f - <<EOF
    4. apiVersion: install.istio.io/v1alpha1
    5. kind: IstioOperator
    6. metadata:
    7.   namespace: usergroup-1
    8. spec:
    9.   profile: minimal
    10.   revision: usergroup-1
    11.   meshConfig:
    12.     discoverySelectors:
    13.       - matchLabels:
    14.           usergroup: usergroup-1
    15.   values:
    16.     global:
    17.       istioNamespace: usergroup-1
    18.     pilot:
    19.       env:
    20.         ENABLE_ENHANCED_RESOURCE_SCOPING: true
    21. EOF

  2. 创建第二个系统命名空间 usergroup-2 并在其中部署 istiod：

    1. $ kubectl create ns usergroup-2
    2. $ kubectl label ns usergroup-2 usergroup=usergroup-2
    3. $ istioctl install -y -f - <<EOF
    4. apiVersion: install.istio.io/v1alpha1
    5. kind: IstioOperator
    6. metadata:
    7.   namespace: usergroup-2
    8. spec:
    9.   profile: minimal
    10.   revision: usergroup-2
    11.   meshConfig:
    12.     discoverySelectors:
    13.       - matchLabels:
    14.           usergroup: usergroup-2
    15.   values:
    16.     global:
    17.       istioNamespace: usergroup-2
    18.     pilot:
    19.       env:
    20.         ENABLE_ENHANCED_RESOURCE_SCOPING: true
    21. EOF

  3. 在 usergroup-1 命名空间中为工作负载部署策略，以便只能接收双向 TLS 流量：

    1. $ kubectl apply -f - <<EOF
    2. apiVersion: security.istio.io/v1beta1
    3. kind: PeerAuthentication
    4. metadata:
    5.   name: "usergroup-1-peerauth"
    6.   namespace: "usergroup-1"
    7. spec:
    8.   mtls:
    9.     mode: STRICT
    10. EOF

  4. 在 usergroup-2 命名空间中为工作负载部署策略，以便只能接收双向 TLS 流量：

    1. $ kubectl apply -f - <<EOF
    2. apiVersion: security.istio.io/v1beta1
    3. kind: PeerAuthentication
    4. metadata:
    5.   name: "usergroup-2-peerauth"
    6.   namespace: "usergroup-2"
    7. spec:
    8.   mtls:
    9.     mode: STRICT
    10. EOF

确认创建多个控制面

  1. 查看每个控制面的系统命名空间上的标签：

    1. $ kubectl get ns usergroup-1 usergroup2 --show-labels
    2. NAME              STATUS   AGE     LABELS
    3. usergroup-1       Active   13m     kubernetes.io/metadata.name=usergroup-1,usergroup=usergroup-1
    4. usergroup-2       Active   12m     kubernetes.io/metadata.name=usergroup-2,usergroup=usergroup-2

  2. 确认控制面被部署且正在运行：

    1. $ kubectl get pods -n usergroup-1
    2. NAMESPACE     NAME                                     READY   STATUS    RESTARTS         AGE
    3. usergroup-1   istiod-usergroup-1-5ccc849b5f-wnqd6      1/1     Running   0                12m
    1. $ kubectl get pods -n usergroup-2
    2. NAMESPACE     NAME                                     READY   STATUS    RESTARTS         AGE
    3. usergroup-2   istiod-usergroup-2-658d6458f7-slpd9      1/1     Running   0                12m

    您会注意到在指定的命名空间中为每个用户组创建了一个 Istiod Deployment。

  3. 执行以下命令列出已安装的 Webhook：

    1. $ kubectl get validatingwebhookconfiguration
    2. NAME                                      WEBHOOKS   AGE
    3. istio-validator-usergroup-1-usergroup-1   1          18m
    4. istio-validator-usergroup-2-usergroup-2   1          18m
    5. istiod-default-validator                  1          18m
    1. $ kubectl get mutatingwebhookconfiguration
    2. NAME                                             WEBHOOKS   AGE
    3. istio-revision-tag-default-usergroup-1           4          18m
    4. istio-sidecar-injector-usergroup-1-usergroup-1   2          19m
    5. istio-sidecar-injector-usergroup-2-usergroup-2   2          18m

    请注意，输出包括 istiod-default-validator 和 istio-revision-tag-default-usergroup-1，它们是用于处理来自与任何修订无关的资源请求的默认 Webhook 配置。 在一个完整作用域的环境中，每个控制面都通过适当的命名空间标签与其资源相关联，不需要这些默认的 Webhook 配置。 它们不应该被调用。

每个用户组部署应用负载

  1. 创建三个应用命名空间：

    1. $ kubectl create ns app-ns-1
    2. $ kubectl create ns app-ns-2
    3. $ kubectl create ns app-ns-3

  2. 为每个命名空间打标签，将其与各自的控制面相关联：

    1. $ kubectl label ns app-ns-1 usergroup=usergroup-1 istio.io/rev=usergroup-1
    2. $ kubectl label ns app-ns-2 usergroup=usergroup-2 istio.io/rev=usergroup-2
    3. $ kubectl label ns app-ns-3 usergroup=usergroup-2 istio.io/rev=usergroup-2

  3. 为每个命名空间部署一个 sleep 和 httpbin 应用：

    1. $ kubectl -n app-ns-1 apply -f samples/sleep/sleep.yaml
    2. $ kubectl -n app-ns-1 apply -f samples/httpbin/httpbin.yaml
    3. $ kubectl -n app-ns-2 apply -f samples/sleep/sleep.yaml
    4. $ kubectl -n app-ns-2 apply -f samples/httpbin/httpbin.yaml
    5. $ kubectl -n app-ns-3 apply -f samples/sleep/sleep.yaml
    6. $ kubectl -n app-ns-3 apply -f samples/httpbin/httpbin.yaml

  4. 等待几秒钟，让 httpbin 和 sleep Pod 在注入 Sidecar 的情况下运行：

    1. $ kubectl get pods -n app-ns-1
    2. NAME                      READY   STATUS    RESTARTS   AGE
    3. httpbin-9dbd644c7-zc2v4   2/2     Running   0          115m
    4. sleep-78ff5975c6-fml7c    2/2     Running   0          115m
    1. $ kubectl get pods -n app-ns-2
    2. NAME                      READY   STATUS    RESTARTS   AGE
    3. httpbin-9dbd644c7-sd9ln   2/2     Running   0          115m
    4. sleep-78ff5975c6-sz728    2/2     Running   0          115m
    1. $ kubectl get pods -n app-ns-3
    2. NAME                      READY   STATUS    RESTARTS   AGE
    3. httpbin-9dbd644c7-8ll27   2/2     Running   0          115m
    4. sleep-78ff5975c6-sg4tq    2/2     Running   0          115m

确认应用到控制面的映射

现在应用已部署，您可以使用 istioctl ps 命令确认应用负载由其各自的控制面管理， 即 app-ns-1 由 usergroup-1 管理，app-ns-2 和 app-ns-3 由 usergroup-2 管理：

  1. $ istioctl ps -i usergroup-1
  2. NAME                                 CLUSTER        CDS        LDS        EDS        RDS          ECDS         ISTIOD                                  VERSION
  3. httpbin-9dbd644c7-hccpf.app-ns-1     Kubernetes     SYNCED     SYNCED     SYNCED     SYNCED       NOT SENT     istiod-usergroup-1-5ccc849b5f-wnqd6     1.17-alpha.f5212a6f7df61fd8156f3585154bed2f003c4117
  4. sleep-78ff5975c6-9zb77.app-ns-1      Kubernetes     SYNCED     SYNCED     SYNCED     SYNCED       NOT SENT     istiod-usergroup-1-5ccc849b5f-wnqd6     1.17-alpha.f5212a6f7df61fd8156f3585154bed2f003c4117
  1. $ istioctl ps -i usergroup-2
  2. NAME                                 CLUSTER        CDS        LDS        EDS        RDS          ECDS         ISTIOD                                  VERSION
  3. httpbin-9dbd644c7-vvcqj.app-ns-3     Kubernetes     SYNCED     SYNCED     SYNCED     SYNCED       NOT SENT     istiod-usergroup-2-658d6458f7-slpd9     1.17-alpha.f5212a6f7df61fd8156f3585154bed2f003c4117
  4. httpbin-9dbd644c7-xzgfm.app-ns-2     Kubernetes     SYNCED     SYNCED     SYNCED     SYNCED       NOT SENT     istiod-usergroup-2-658d6458f7-slpd9     1.17-alpha.f5212a6f7df61fd8156f3585154bed2f003c4117
  5. sleep-78ff5975c6-fthmt.app-ns-2      Kubernetes     SYNCED     SYNCED     SYNCED     SYNCED       NOT SENT     istiod-usergroup-2-658d6458f7-slpd9     1.17-alpha.f5212a6f7df61fd8156f3585154bed2f003c4117
  6. sleep-78ff5975c6-nxtth.app-ns-3      Kubernetes     SYNCED     SYNCED     SYNCED     SYNCED       NOT SENT     istiod-usergroup-2-658d6458f7-slpd9     1.17-alpha.f5212a6f7df61fd8156f3585154bed2f003c4117

确认应用连接仅在各个用户组内

  1. 将 usergroup-1 中 app-ns-1 中的 sleep Pod 的请求发送到 usergroup-2 中 app-ns-2 中的 httpbin 服务：

    1. $ kubectl -n app-ns-1 exec "$(kubectl -n app-ns-1 get pod -l app=sleep -o jsonpath={.items..metadata.name})" -c sleep -- curl -sIL http://httpbin.app-ns-2.svc.cluster.local:8000
    2. HTTP/1.1 503 Service Unavailable
    3. content-length: 95
    4. content-type: text/plain
    5. date: Sat, 24 Dec 2022 06:54:54 GMT
    6. server: envoy

  2. 将 usergroup-2 中 app-ns-2 中的 sleep Pod 的请求发送到 usergroup-2 中 app-ns-3 中的 httpbin 服务：通信应发挥作用：

    1. $ kubectl -n app-ns-2 exec "$(kubectl -n app-ns-2 get pod -l app=sleep -o jsonpath={.items..metadata.name})" -c sleep -- curl -sIL http://httpbin.app-ns-3.svc.cluster.local:8000
    2. HTTP/1.1 200 OK
    3. server: envoy
    4. date: Thu, 22 Dec 2022 15:01:36 GMT
    5. content-type: text/html; charset=utf-8
    6. content-length: 9593
    7. access-control-allow-origin: *
    8. access-control-allow-credentials: true
    9. x-envoy-upstream-service-time: 3

清理

  1. 清理第一个用户组：

    1. $ istioctl uninstall --revision usergroup-1
    2. $ kubectl delete ns app-ns-1 usergroup-1

  2. 清理第二个用户组：

    1. $ istioctl uninstall --revision usergroup-2
    2. $ kubectl delete ns app-ns-2 app-ns-3 usergroup-2

集群管理员必须确保网格管理员无权调用全局 istioctl uninstall --purge 命令，因为这将卸载集群中的所有控制面。