Envoy proxy 配置详解

Istio envoy sidecar proxy 配置中包含以下四个部分。

  • bootstrap：Envoy proxy 启动时候加载的静态配置。
  • listeners：监听器配置，使用 LDS 下发。
  • clusters：集群配置，静态配置中包括 xds-grpc 和 zipkin 地址，动态配置使用 CDS 下发。
  • routes：路由配置，静态配置中包括了本地监听的服务的集群信息，其中引用了 cluster，动态配置使用 RDS 下发。

每个部分中都包含静态配置与动态配置，其中 bootstrap 配置又是在集群启动的时候通过 sidecar 启动参数注入的，配置文件在 /etc/istio/proxy/envoy-rev0.json。

Enovy 的配置 dump 出来后的结构如下图所示。

Envoy 配置

由于 bootstrap 中的配置是来自 Envoy 启动时加载的静态文件，主要配置了节点信息、tracing、admin 和统计信息收集等信息，这不是本文的重点，大家可以自行研究。

bootstrap 配置

上图是 bootstrap 的配置信息。

Bootstrap 是 Envoy 中配置的根本来源，Bootstrap 消息中有一个关键的概念，就是静态和动态资源的之间的区别。例如 Listener 或 Cluster 这些资源既可以从 static_resources 静态的获得也可以从 dynamic_resources 中配置的 LDS 或 CDS 之类的 xDS 服务获取。

Listener

Listener 顾名思义，就是监听器，监听 IP 地址和端口，然后根据策略转发。

Listener 的特点

  • 每个 Envoy 进程中可以有多个 Listener，Envoy 与 Listener 之间是一对多的关系。
  • 每个 Listener 中可以配置一条 filter 链表（filter_chains），Envoy 会根据 filter 顺序执行过滤。
  • Listener 可以监听下游的端口，也可以接收来自其他 listener 的数据，形成链式处理。
  • filter 是可扩展的。
  • 可以静态配置，也可以使用 LDS 动态配置。
  • 目前只能监听 TCP，UDP 还未支持。

Listener 的数据结构

Listener 的数据结构如下，除了 name、address 和 filter_chains 为必须配置之外，其他都为可选的。

  1. {
  2.   "name": "...",
  3.   "address": "{...}",
  4.   "filter_chains": [],
  5.   "use_original_dst": "{...}",
  6.   "per_connection_buffer_limit_bytes": "{...}",
  7.   "metadata": "{...}",
  8.   "drain_type": "...",
  9.   "listener_filters": [],
  10.   "transparent": "{...}",
  11.   "freebind": "{...}",
  12.   "socket_options": [],
  13.   "tcp_fast_open_queue_length": "{...}",
  14.   "bugfix_reverse_write_filter_order": "{...}"
  15. }

下面是关于上述数据结构中的常用配置解析。

  • name：该 listener 的 UUID，唯一限定名，默认60个字符，例如 10.254.74.159_15011，可以使用命令参数指定长度限制。

  • address：监听的逻辑/物理地址和端口号，例如

    1. "address": {
    2.        "socket_address": {
    3.         "address": "10.254.74.159",
    4.         "port_value": 15011
    5.        }
    6. }

  • filter_chains：这是一个列表，Envoy 中内置了一些通用的 filter，每种 filter 都有特定的数据结构，Enovy 会根据该配置顺序执行 filter。Envoy 中内置的 filter 有：envoy.client_ssl_auth、envoy.echo、enovy.http_connection_manager、envoy.mongo_proxy、envoy.rate_limit、enovy.redis_proxy、envoy.tcp_proxy、http_filters、thrift_filters等。这些 filter 可以单独使用也可以组合使用，还可以自定义扩展，例如使用 Istio 中的 EnvoyFilter 配置。

  • use_original_dst：这是一个布尔值，如果使用 iptables 重定向连接，则代理接收的端口可能与原始目的地址的端口不一样。当此标志设置为 true 时，Listener 将重定向的连接切换到与原始目的地址关联的 Listener。如果没有与原始目的地址关联的 Listener，则连接由接收它的 Listener 处理。默认为 false。注意：该参数将被废弃，请使用原始目的地址的 Listener filter 替代。该参数的主要用途是，Envoy 通过监听 15001 端口将应用的流量截取后再由其他 Listener 处理而不是直接转发出去，详情见 Virtual Listener。

关于 Listener 的详细介绍请参考 Envoy v2 API reference - listener。

Cluster

Cluster 是指 Envoy 连接的一组逻辑相同的上游主机。Envoy 通过服务发现来发现 cluster 的成员。可以选择通过主动健康检查来确定集群成员的健康状态。Envoy 通过负载均衡策略决定将请求路由到 cluster 的哪个成员。

Cluster 的特点

  • 一组逻辑上相同的主机构成一个 cluster。
  • 可以在 cluster 中定义各种负载均衡策略。
  • 新加入的 cluster 需要一个热身的过程才可以给路由引用，该过程是原子的，即在 cluster 热身之前对于 Envoy 及 Service Mesh 的其余部分来说是不可见的。
  • 可以通过多种方式来配置 cluster，例如静态类型、严格限定 DNS、逻辑 DNS、EDS 等。

Cluster 的数据结构

Cluster 的数据结构如下，除了 name 字段，其他都是可选的。

  1. {
  2.   "name": "...",
  3.   "alt_stat_name": "...",
  4.   "type": "...",
  5.   "eds_cluster_config": "{...}",
  6.   "connect_timeout": "{...}",
  7.   "per_connection_buffer_limit_bytes": "{...}",
  8.   "lb_policy": "...",
  9.   "hosts": [],
  10.   "load_assignment": "{...}",
  11.   "health_checks": [],
  12.   "max_requests_per_connection": "{...}",
  13.   "circuit_breakers": "{...}",
  14.   "tls_context": "{...}",
  15.   "common_http_protocol_options": "{...}",
  16.   "http_protocol_options": "{...}",
  17.   "http2_protocol_options": "{...}",
  18.   "extension_protocol_options": "{...}",
  19.   "dns_refresh_rate": "{...}",
  20.   "dns_lookup_family": "...",
  21.   "dns_resolvers": [],
  22.   "outlier_detection": "{...}",
  23.   "cleanup_interval": "{...}",
  24.   "upstream_bind_config": "{...}",
  25.   "lb_subset_config": "{...}",
  26.   "ring_hash_lb_config": "{...}",
  27.   "original_dst_lb_config": "{...}",
  28.   "least_request_lb_config": "{...}",
  29.   "common_lb_config": "{...}",
  30.   "transport_socket": "{...}",
  31.   "metadata": "{...}",
  32.   "protocol_selection": "...",
  33.   "upstream_connection_options": "{...}",
  34.   "close_connections_on_host_health_failure": "...",
  35.   "drain_connections_on_host_removal": "..."
  36. }

下面是关于上述数据结构中的常用配置解析。

  • name：如果你留意到作为 Sidecar 启动的 Envoy 的参数的会注意到 --max-obj-name-len 189，该选项用来用来指定 cluster 的名字，例如 inbound|9080||ratings.default.svc.cluster.local。该名字字符串由 | 分隔成四个部分，分别是 inbound 或 outbound 代表入向流量或出向流量、端口号、subcluster 名称、FQDN，其中 subcluster 名称将对应于 Istio DestinationRule 中配置的 subnet，如果是按照多版本按比例路由的话，该值可以是版本号。
  • type：即服务发现类型，支持的参数有 STATIC（缺省值）、STRICT_DNS、LOGICAL_DNS、EDS、ORIGINAL_DST。
  • hosts：这是个列表，配置负载均衡的 IP 地址和端口，只有使用了 STATIC、STRICT_DNS、LOGICAL_DNS 服务发现类型时才需要配置。
  • eds_cluster_config：如果使用 EDS 做服务发现，则需要配置该项目，其中包括的配置有 service_name 和 ads。

关于 Cluster 的详细介绍请参考 Envoy v2 API reference - cluster。

Route

我们在这里所说的路由指的是 HTTP 路由，这也使得 Envoy 可以用来处理网格边缘的流量。HTTP 路由转发是通过路由过滤器实现的。该过滤器的主要职能就是执行路由表中的指令。除了可以做重定向和转发，路由过滤器还需要处理重试、统计之类的任务。

HTTP 路由的特点

Route 的数据结构

  1. {
  2.   "name": "...",
  3.   "virtual_hosts": [],
  4.   "internal_only_headers": [],
  5.   "response_headers_to_add": [],
  6.   "response_headers_to_remove": [],
  7.   "request_headers_to_add": [],
  8.   "request_headers_to_remove": [],
  9.   "validate_clusters": "{...}"
  10. }

下面是关于上述数据结构中的常用配置解析。

  • name：该名字跟 envoy.http_connection_manager filter 中的 http_filters.rds.route_config_name 一致，在 Istio Service Mesh 中为 Envoy 下发的配置中的 Route 是以监听的端口号作为名字，而同一个名字下面的 virtual_hosts 可以有多个值（数组形式）。
  • virtual_hosts：因为 VirtualHosts 是 Envoy 中引入的一个重要概念，我们在下文将详细说明 virtual_hosts 的数据结构。
  • validate_clusters：这是一个布尔值，用来设置开启使用 cluster manager 来检测路由表引用的 cluster 是否有效。如果是路由表是通过 route_config 静态配置的则该值默认设置为 true，如果是使用 rds 动态配置的话，则该值默认设置为 false。

关于 Route 的详细介绍请参考 Envoy v2 API reference - HTTP route configuration。

route.VirtualHost

VirtualHost 即上文中 Route 配置中的 virtual_hosts，VirtualHost 是路由配置中的顶级元素。每个虚拟主机都有一个逻辑名称以及一组根据传入请求的 host header 路由到它的域。这允许单个 Listener 为多个顶级域路径树提供服务。基于域选择了虚拟主机后 Envoy 就会处理路由以查看要路由到哪个上游集群或是否执行重定向。

VirtualHost 的数据结构

下面是 VirtualHost 的数据结构，除了 name 和 domains 是必须配置项外，其他皆为可选项。

  1. {
  2.   "name": "...",
  3.   "domains": [],
  4.   "routes": [],
  5.   "require_tls": "...",
  6.   "virtual_clusters": [],
  7.   "rate_limits": [],
  8.   "request_headers_to_add": [],
  9.   "request_headers_to_remove": [],
  10.   "response_headers_to_add": [],
  11.   "response_headers_to_remove": [],
  12.   "cors": "{...}",
  13.   "per_filter_config": "{...}",
  14.   "include_request_attempt_count": "..."
  15. }

下面是关于上述数据结构中的常用配置解析。

  • name：该 VirtualHost 的名字，一般是 FQDN 加端口，如 details.default.svc.cluster.local:9080。
  • domains：这是个用来匹配 VirtualHost 的域名（host/authority header）列表，也可以使用通配符，但是通配符不能匹配空字符，除了仅使用 * 作为 domains，注意列表中的值不能重复和存在交集，只要有一条 domain 被匹配上了，就会执行路由。Istio 会为该值配置所有地址解析形式，包括 IP 地址、FQDN 和短域名等。
  • routes：针对入口流量的有序路由列表，第一个匹配上的路由将被执行。我们在下文将详细说明 route 的数据结构。

下面是一个实际的 VirtualHost 的例子，该配置来自 Bookinfo 应用的 details 应用的 Sidecar 服务。

  1. {
  2.             "name": "details.default.svc.cluster.local:9080",
  3.             "domains": [
  4.                 "details.default.svc.cluster.local",
  5.                 "details.default.svc.cluster.local:9080",
  6.                 "details",
  7.                 "details:9080",
  8.                 "details.default.svc.cluster",
  9.                 "details.default.svc.cluster:9080",
  10.                 "details.default.svc",
  11.                 "details.default.svc:9080",
  12.                 "details.default",
  13.                 "details.default:9080",
  14.                 "10.254.4.113",
  15.                 "10.254.4.113:9080"
  16.             ],
  17.             "routes": [
  18.                 {
  19.                     "match": {
  20.                         "prefix": "/"
  21.                     },
  22.                     "route": {
  23.                         "cluster": "outbound|9080||details.default.svc.cluster.local",
  24.                         "timeout": "0s",
  25.                         "max_grpc_timeout": "0s"
  26.                     },
  27.                     "decorator": {
  28.                         "operation": "details.default.svc.cluster.local:9080/*"
  29.                     },
  30.                     "per_filter_config": {
  31.                         "mixer": {
  32.                             "forward_attributes": {
  33.                                 "attributes": {
  34.                                     "destination.service.uid": {
  35.                                         "string_value": "istio://default/services/details"
  36.                                     },
  37.                                     "destination.service.host": {
  38.                                         "string_value": "details.default.svc.cluster.local"
  39.                                     },
  40.                                     "destination.service.namespace": {
  41.                                         "string_value": "default"
  42.                                     },
  43.                                     "destination.service.name": {
  44.                                         "string_value": "details"
  45.                                     },
  46.                                     "destination.service": {
  47.                                         "string_value": "details.default.svc.cluster.local"
  48.                                     }
  49.                                 }
  50.                             },
  51.                             "mixer_attributes": {
  52.                                 "attributes": {
  53.                                     "destination.service.host": {
  54.                                         "string_value": "details.default.svc.cluster.local"
  55.                                     },
  56.                                     "destination.service.uid": {
  57.                                         "string_value": "istio://default/services/details"
  58.                                     },
  59.                                     "destination.service.name": {
  60.                                         "string_value": "details"
  61.                                     },
  62.                                     "destination.service.namespace": {
  63.                                         "string_value": "default"
  64.                                     },
  65.                                     "destination.service": {
  66.                                         "string_value": "details.default.svc.cluster.local"
  67.                                     }
  68.                                 }
  69.                             },
  70.                             "disable_check_calls": true
  71.                         }
  72.                     }
  73.                 }
  74.             ]
  75.         }

关于 route.VirtualHost 的详细介绍请参考 Envoy v2 API reference - route.VirtualHost。

route.Route

路由既是如何匹配请求的规范，也是对下一步做什么的指示（例如，redirect、forward、rewrite等）。

route.Route 的数据结构

下面是是 route.Route 的数据结构，除了 match 之外其余都是可选的。

  1. {
  2.   "match": "{...}",
  3.   "route": "{...}",
  4.   "redirect": "{...}",
  5.   "direct_response": "{...}",
  6.   "metadata": "{...}",
  7.   "decorator": "{...}",
  8.   "per_filter_config": "{...}",
  9.   "request_headers_to_add": [],
  10.   "request_headers_to_remove": [],
  11.   "response_headers_to_add": [],
  12.   "response_headers_to_remove": []
  13. }

下面是关于上述数据结构中的常用配置解析。

  • match：路由匹配参数。例如 URL prefix（前缀）、path（URL 的完整路径）、regex（规则表达式）等。
  • route：这里面配置路由的行为，可以是 route、redirect 和 direct_response，不过这里面没有专门的一个配置项用来配置以上三种行为，而是根据实际填充的配置项来确定的。例如在此处添加 cluster 配置则暗示路由动作为”route“，表示将流量路由到该 cluster。详情请参考 route.RouteAction。
  • decorator：被匹配的路由的修饰符，表示被匹配的虚拟主机和 URL。该配置里有且只有一个必须配置的项 operation，例如 details.default.svc.cluster.local:9080/*。
  • per_filter_config：这是一个 map 类型，per_filter_config 字段可用于为 filter 提供特定路由的配置。Map 的 key 应与 filleter 名称匹配，例如用于 HTTP buffer filter 的 envoy.buffer。该字段是特定于 filter 的，详情请参考 HTTP filter。

关于 route.Route 的详细介绍请参考 Envoy v2 API reference - route.Route。

参考