如何将 Dubbo 服务接入到 Aeraki Mesh?

Aeraki Mesh 支持对 Dubbo 服务进行全面的七层服务治理，服务治理的粒度是 Dubbo interface。治理能力包括七层负载均衡，动态路由，熔断，本地/全局限流，请求层面的 Metrics 收集和呈现等，后面还会支持调用跟踪，流量镜像等能力。 本文将介绍如何将 Dubbo 服务接入到 Aeraki Mesh 中进行服务治理。

Aeraki Mesh Dubbo 解决方案

Aeraki Mesh 的 Dubbo 服务治理解决方案如下图所示： 如何将 Dubbo 服务接入到 Aeraki Mesh? - 图1

Aeraki Mesh 的 MetaProtocol Proxy 组件是一个数据面七层代理的通用框架，其中已经自带了 Dubbo codec 实现（下文将简称为 Meta-Dubbo)。

Aeraki 和 Istio 则一起作为控制面，通过 xDS 控制面标准接口下发 MetaProtocol Proxy 所需的配置信息。

Dubbo2Istio 可以连接 Dubbo 服务注册表，将其中注册的 Dubbo 服务转换为 ServiceEntry 资源，自动同步到 Istio 服务网格中。Dubbo2Istio 支持 ZooKeeper，Nacos，Etcd 三种类型的 Dubbo 服务注册表。

将 Dubbo 服务加入到服务网格中

对接 Dubbo 服务注册

采用 Dubbo2Istio 对接 Dubbo 服务注册表

这种方法需要在在 K8s 集群中部署一个 Dubbo2Istio 组件。Dubbo2Istio 将会监控 Dubbo 注册表的变化，自动将 Dubbo 注册表中的 Dubbo 服务同步到 Istio 内部的服务注册表中。该方法需要维护一个额外的 Dubbo2Istio 组件，好处是保留了 Dubbo 原有的服务注册表，同时兼容服务网格和 Dubbo SDK 两种服务发现方式，可以将 Dubbo 程序进行有计划地迁移到服务网格。

Dubbo2Istio 会为每个 Dubbo 服务创建一个 ServiceEntry，并为该 ServiceEntry 自动分配一个 240.240.0.0/16 保留网段的虚拟 IP 地址。该 ServiceEntry 将在 Istio 中为该 Dubbo 服务定义相应的 dns 名称，名称为 Dubbo Infterace 的全小写形式。例如下面示例中的 Dubbo 服务的 Interface 为“org.apache.dubbo.samples.basic.api.DemoService”，则在 Istio 中对应的 dns 名为“org.apache.dubbo.samples.basic.api.demoservice”，Dubbo consumer 将使用该 dns 名来请求 Dubbo provider。

Dubbo 服务注册表中注册的实例的所有属性，如 relese， reversion 等会被作为 endpoint 的 label，这些 label 可以用于进行精细的七层流量控制，例如按照版本进行路由，灰度发布等。

Dubbo2Istio 自动创建的 ServiceEntry 如下所示：

  1. apiVersion: networking.istio.io/v1beta1
  2. kind: ServiceEntry
  3. metadata:
  4.   annotations:
  5.     interface: org.apache.dubbo.samples.basic.api.DemoService
  6.   labels:
  7.     manager: aeraki
  8.     registry: dubbo-zookeeper
  9.   name: aeraki-org-apache-dubbo-samples-basic-api-demoservice
  10.   namespace: dubbo
  11. spec:
  12.   hosts:
  13.     - org.apache.dubbo.samples.basic.api.demoservice
  14.   addresses:
  15.   - 240.240.0.61
  16.   endpoints:
  17.   - address: 172.18.0.59
  18.     labels:
  19.       aeraki_meta_app_version: v2
  20.       anyhost: "true"
  21.       application: dubbo-sample-provider
  22.       default: "true"
  23.       deprecated: "false"
  24.       dubbo: 2.0.2
  25.       dynamic: "true"
  26.       generic: "false"
  27.       interface: org.apache.dubbo.samples.basic.api.DemoService
  28.       methods: testVoid-sayHello
  29.       pid: "6"
  30.       release: 2.0-SNAPSHOT
  31.       revision: 2.0-SNAPSHOT
  32.       side: provider
  33.       timestamp: "1619599321039"
  34.     ports:
  35.       tcp-dubbo: 20880
  36.     serviceAccount: default

如果采用 Dubbo2Istio，还需要将一些 Istio 所需的 endpoint 标签通过 Dubbo 自定义参数的形式注册到 Dubbo 注册表中。

首先需要在 k8s deployment 中为 Dubbo 应用容器设置相关的环境变量，包括：

  • AERAKI_META_APP_NAMESPACE：应用所属的 namespace，用于指定 Service account 所属的 namespace
  • AERAKI_META_APP_SERVICE_ACCOUNT：Dubbo 应用的 service account，用于 mtls 身份认证和权限控制
  • AERAKI_META_WORKLOAD_SELECTOR：Dubbo 应用的 workload selector，用于 Aeraki Mesh 为指定的 pod 下发相关的数据面代理配置
  • AERAKI_META_APP_VERSION：Dubbo 应用的版本，以用于设置流量规则，用于灰度发布等场景
  1. kind: Deployment
  2. metadata:
  3.   name: dubbo-sample-provider-v2
  4.   labels:
  5.     app: dubbo-sample-provider
  6. spec:
  7.   selector:
  8.     matchLabels:
  9.       app: dubbo-sample-provider
  10.   replicas: 1
  11.   template:
  12.     metadata:
  13.       labels:
  14.         app: dubbo-sample-provider
  15.         version: v2
  16.     spec:
  17.       containers:
  18.         - name: dubbo-sample-provider
  19.           image: aeraki/dubbo-sample-provider
  20.           imagePullPolicy: Always
  21.           env: # 设置 AERAKI_META 相关的环境变量
  22.             - name: AERAKI_META_APP_NAMESPACE
  23.               valueFrom:
  24.                 fieldRef:
  25.                   fieldPath: metadata.namespace
  26.             - name: AERAKI_META_APP_SERVICE_ACCOUNT
  27.               valueFrom:
  28.                 fieldRef:
  29.                   fieldPath: spec.serviceAccountName
  30.             - name: AERAKI_META_WORKLOAD_SELECTOR
  31.               value: "dubbo-sample-provider"     # The deployment must have a label: app:dubbo-sample-provider
  32.             - name: AERAKI_META_APP_VERSION
  33.               value: v2

这些环境参数需要通过 Dubbo 配置文件设置为自定义参数，以注册到 Dubbo 注册表，并同步到 Istio 中，如下面的配置文件所示：

  1.     <dubbo:application name="dubbo-sample-provider">
  2.       <dubbo:parameter key="aeraki_meta_app_namespace" value="${AERAKI_META_APP_NAMESPACE}" />
  3.       <dubbo:parameter key="aeraki_meta_app_service_account" value="${AERAKI_META_APP_SERVICE_ACCOUNT}" />
  4.       <dubbo:parameter key="aeraki_meta_app_version" value="${AERAKI_META_APP_VERSION}" />
  5.       <dubbo:parameter key="aeraki_meta_workload_selector" value="${AERAKI_META_WORKLOAD_SELECTOR}" />
  6.     </dubbo:application>

采用 ServiceEntry

如果 Dubbo 应用已经实现容器化并部署在了 K8s 中，并且不需要同时保留原有的 Dubbo SDK 服务发现方式，则可以直接编写 yaml 文件来将 Dubbo interface 定义为一个 Istio ServiceEntry。这种方式无需维护 Dubbo2Istio，也无需增加 Dubbo 自定义参数，运维和配置更为简单。Service Entry 的定义如下所示：

  1. apiVersion: networking.istio.io/v1alpha3
  2. kind: ServiceEntry
  3. metadata:
  4.   name: dubbo-demoservice
  5.   namespace: meta-dubbo
  6.   annotations:
  7.     interface: org.apache.dubbo.samples.basic.api.DemoService
  8. spec:
  9.   hosts:
  10.     - org.apache.dubbo.samples.basic.api.demoservice
  11.   ports:
  12.     - number: 20880
  13.       name: tcp-metaprotocol-dubbo
  14.       protocol: TCP
  15.   workloadSelector:
  16.     labels:
  17.       app: dubbo-sample-provider
  18.   resolution: STATIC

短路 Dubbo SDK 服务发现

加入服务网格后，应用程序将使用服务网格中的服务发现能力，不再需要使用 Dubbo 注册中心进行服务发现。因此需要修改客户端的配置文件，直接设置 Dubbo interface 对应的服务端 url。我们将 url 设置为服务对接时约定的 Dubbo Interface 的全小写形式，如 “org.apache.dubbo.samples.basic.api.demoservice”），如下所示：

  1. <dubbo:reference id="demoService" check="true" interface="org.apache.dubbo.samples.basic.api.DemoService" url="dubbo://org.apache.dubbo.samples.basic.api.demoservice:20880" timeout="3000"/>

Demo 应用

直接定义 ServiceEntry 的 Demo 应用

直接参照 快速开始 即可安装 Aeraki，Istio 及 Dubbo 示例程序。

使用 Dubbo2Istio 对接 Dubbo 注册表 的 Demo 应用

首先参照 快速开始 即可安装 Aeraki 和 Istio。

快速开始中安装的 Dubbo 示例程序没有采用 Dubbo 注册表，我们先将其卸载。

  1. ./demo/metaprotocol-dubbo/uninstall.sh

然后安装 Dubbo2Istio 中使用了 Dubbo 注册表的 Demo 程序：

  1. git clone https://github.com/aeraki-mesh/dubbo2istio.git
  2. cd dubbo2istio
  3. kubectl create ns meta-dubbo
  4. kubectl label namespace meta-dubbo istio-injection=enabled --overwrite
  5. kubectl apply -f demo/k8s/aeraki-bootstrap-config.yaml -n meta-dubbo
  6. kubectl apply -f demo/k8s/zk -n meta-dubbo
  7. kubectl apply -f demo/traffic-rules/destinationrule.yaml -n meta-dubbo

上面的脚本安装的是 ZooKeeper 注册表，你也可以选择安装 nacos 或者 etcd 注册表。Dubbo Demo 应用程序源码可以从 https://github.com/aeraki-mesh/dubbo-envoyfilter-example 下载。

稍等片刻后验证部署的 dubbo Demo 应用。

  1. kubectl get pod -n meta-dubbo
  2. NAME                                        READY   STATUS    RESTARTS   AGE
  3. dubbo-sample-consumer-5cf9f6f878-qxwwp      2/2     Running   0          97s
  4. dubbo-sample-provider-v1-6b7cc9b6f8-j9dvl   2/2     Running   0          97s
  5. dubbo-sample-provider-v2-7546478cbf-l2l74   2/2     Running   0          97s
  6. dubbo2istio-5c4cf7f847-d7kf2                1/1     Running   0          97s
  7. zookeeper-77c844c5b9-7p47v                  1/1     Running   0          96s

可以看到 dubbo namespace中有下面的 pod：

  • dubbo-sample-consumer: Dubbo 客户端应用
  • dubbo-sample-provider-v1： Dubbo 服务器端应用（v1版本）
  • dubbo-sample-provider-v2： Dubbo 服务器端应用（v2版本）
  • zookeeper: Dubbo ZooKeeper 服务注册表
  • dubbo2istio: 服务同步组件，负责将 Dubbo 服务同步到服务网格中

安装好 Dubbo Demo 程序后，你可以参考 Aeraki Mesh 的 教程 体验 Aeraki Mesh 为 Dubbo 应用提供的七层流量治理能力。

最后修改 May 23, 2022: 增加 v1.1 文档目录 (431bf1a)