K8s YAML 测试服务

本文介绍 K8s YAML 项目中的测试服务相关操作。

新建服务

进入 K8s YAML 项目,点击 服务 - 测试服务,进入服务管理页面。

创建服务

系统支持以下三种方式创建 K8s YAML 服务:

  • 手工输入:在创建服务时手工输入服务的 K8s YAML 配置文件。
  • 从代码库同步:从代码库中同步服务的 K8s YAML 配置,一次同步可创建一个服务也可创建多个服务。当代码库中的服务配置有变更时,会通过 Webhook 自动更新 ZadigX 平台中的服务配置。
  • 使用模板新建:使用 ZadigX 平台中的服务 K8s YAML 模板来新建服务。

手工输入服务

点击手工输入按钮 -> 填写服务名称 -> 将服务 K8s YAML 填入编辑器 -> 点击保存按钮,即可新建服务。

创建服务

添加服务成功后即可对环境进行更新:点击环境更新,选择要更新的环境,将服务加入到环境中。

更新环境

从代码库同步单个服务

提示

  1. 需要在系统中集成代码源,可参考:代码源集成
  2. 目前支持从 GitLab/GitHub/Gerrit/Gitee 代码源同步服务

服务的 YAML 配置组织在单独的文件夹中,点击从代码库同步按钮 -> 选择具体的代码库和服务配置文件所在的目录 -> 点击同步,即可从代码库同步新建服务。

resultK8s YAML 测试服务 - 图4 (opens new window) 服务为例:

从代码库同步创建服务

同步后,效果如下:

从代码库同步创建服务效果

从代码库同步多个服务

提示

  1. 需要在系统中集成代码源,可参考:代码源集成
  2. 目前支持从 GitLab/GitHub/Gerrit/Gitee 代码源同步服务

多个服务的 YAML 配置分别组织在同一级目录的单独文件夹中,点击从代码库同步按钮 -> 选择具体的代码库和多个服务配置文件所在的目录 -> 点击同步,即可从代码库同步新建多个服务。

votingK8s YAML 测试服务 - 图7 (opens new window) 项目中的 5 个服务为例说明,多个服务的配置文件组织:

  1. ├── 根目录(zadig/examples/voting-app/freestyle-k8s-specifications)
  2. ├── db
  3. ├── db-deployment.yaml
  4. └── db-service.yaml
  5. ├── redis
  6. ├── redis-deployment.yaml
  7. └── redis-service.yaml
  8. ├── result
  9. ├── result-deployment.yaml
  10. └── result-service.yaml
  11. ├── vote
  12. ├── vote-deployment.yaml
  13. └── vote-service.yaml
  14. └── worker
  15. └── worker-deployment.yaml

从代码库同步多个服务:

从代码库批量同步创建服务

同步后,效果如下:

从代码库批量同步创建服务效果

使用模板新建服务

前提

需要先在系统模板库里创建 K8s YAML 模板,请参考 K8s YAML 模板管理

点击新建按钮 -> 选择使用模板新建 -> 填写服务名称,选择模板后填写相关配置 -> 点击新建,即可使用此模板和赋值的变量新建服务。

  • 变量配置可使用模板中的默认值,也可以在新建时重新赋值
  • 开启自动同步后,当在模板库中对使用的模板操作应用到服务时,该服务配置将自动基于模板内容同步

使用 K8s YAML 模板

从 Kubernetes 导入

点击新建按钮 -> 选择从 Kubernetes 导入 -> 填写以下信息后导入即可。

  • 选择集群:要导入的服务所在的 K8s 集群,其中本地集群指 ZadigX 所在的集群
  • 选择命名空间:要导入的服务所在的 K8s 命名空间
  • 点击添加服务后填写服务名称,选择资源类型及对应的配置,目前支持选择 deployment/statefulset/service/ingress/secret/configmap/pvc 资源进行导入

从 K8s 导入

创建服务成功后,可点击查看服务配置的具体内容,按需对其进行修改保存。点击加入环境可将该服务加入到环境中。

提示

加入环境操作会在环境对应的命名空间中部署该服务,若环境的命名空间即为导入服务的命名空间,则会对原始服务进行重启或更新。

从 K8s 导入

更新服务

下面分别介绍如何更新使用不同方式新建的服务。

更新手工输入的服务

修改服务的 K8s YAML 内容并保存即可。

修改服务

服务修改成功后即可对环境进行更新:点击环境更新,选择要更新的环境对环境中的服务进行更新。

更新环境中的服务

更新从代码库同步的服务

  • 提交服务配置变更到代码仓库。

配置变更

  • 变更合并后,会通过 Webhook 的能力自动同步最新配置到 ZadigX 系统。也可以在界面上手动同步服务配置,如下图所示。

服务手动配置同步

  • 在环境中,查看服务配置变更,点击更新服务钮执行更新操作。

服务版本diff 服务更新

更新使用模板新建的服务

方式一:基于模板内容同步

点击服务名右侧的同步按钮 -> 选择模板 -> 按需填写变量配置即可。

提示

更新服务时:

  1. 如果不切换模板,则系统会将服务中已保存过的变量和模板中的自定义变量做合并,对于在两者中都存在的 key,默认使用服务中已保存过的值。
  2. 如果切换模板,则系统会使用新模板中的自定义变量来作为服务的变量配置。

配置变更

配置变更

方式二:直接编辑

点击使用模板新建的服务 -> 点击预览/编辑,即可预览/编辑该服务的 K8s YAML 配置。

直接编辑后,将不可再基于模板内容同步来更新服务。

配置变更

更新从 Kubernetes 导入的服务

点击从 Kubernetes 导入的服务即可预览该服务配置的详细内容,修改内容后保存即可。

更新服务配置

删除服务

点击服务右侧的删除按钮即可将服务删除。

删除环境

服务组件

服务组件

可参考服务组件了解更多信息,此处相关字段说明如下:

  • 服务组件:YAML 配置文件中 container 的名称。
  • 镜像名:系统会按照仓库地址/命名空间/镜像名:标签名规则来解析 YAML 配置文件中的 image,标签名前即为镜像名。
  • 当前镜像版本:YAML 配置文件中,container 的 image 信息
  • 构建信息/操作:可为服务组件配置构建操作,定义其构建过程,参考:构建配置

服务编排

ZadigX 系统支持对多个服务的部署顺序进行编排管理,同一启动顺序组的服务在部署时会并行执行,不同启动顺序组的服务会按照组顺序执行,适用于多个服务的启动顺序有先后依赖关系的场景。

点击服务编排图标,按需对服务启动顺序进行拖拽组合。

K8s 服务编排 K8s 服务编排

变量配置

包括系统内置变量和自定义变量,可在服务 YAML 中进行引用,其中容器名称和镜像信息中只能使用内置变量 $Product$$Service$

变量

系统内置变量

包括 $Namespace$$Product$$Service$$EnvName$,可直接在 YAML 中进行引用,具体说明如下:

  • $Namespace$:项目创建的环境所在的 K8s 空间名称,不可用于容器名称和镜像信息中
  • $Product$:项目名称
  • $Service$:服务名称
  • $EnvName$:创建的环境名称,不可用于容器名称和镜像信息中

自定义变量

服务的 YAML 配置文件中形如 {{.Key}} 的内容可以自动解析为自定义变量,编辑可修改服务变量的默认值。

变量

切换列表视图可定义服务变量的可见性。

  • 不可见的变量:仅可在环境中的全局变量中使用
  • 可见的变量:可在环境中的服务变量和全局变量中使用

变量

注意

使用模板新建的服务且开启自动同步的情况下:

  1. 服务变量可见性不可修改
  2. 服务变量可见性继承模板中变量可见性配置

变量示例

以下述 YAML 配置文件为例说明:

  1. 第 4、11 行引用内置变量 Product,无需赋予默认值,在创建环境时内置变量会被自动渲染替换
  2. 第 7 行引用全局变量 portal_host,在创建环境时可以使用默认值也可以再次修改
  1. apiVersion: extensions/v1beta1
  2. kind: Ingress
  3. metadata:
  4. name: $Product$-index // 引用系统内置变量 $Product$,环境创建时被渲染
  5. spec:
  6. rules:
  7. - host: {{.portal_host}} // 引用全局变量 portal_host,环境创建时被渲染
  8. http:
  9. paths:
  10. - backend:
  11. serviceName: $Product$-index
  12. servicePort: 80
  13. path: /

变量的使用

创建环境时使用

在创建环境时,可配置全局变量和服务级别的变量。

  • 全局变量:对所有服务生效
  • 服务变量:仅当前服务生效

注意

变量的优先级:环境中服务变量值 > 环境中全局变量值 > 服务配置中变量值
例如:全局变量配置变量 k1=global,服务 A 变量配置 k1=s1,服务 B 没有配置 k1 变量,则最终服务 A k1=s1,服务 B k1=global;

创建环境变量渲染

更新全局变量

在环境中,点击更新全局变量,可更新对应环境中的全局变量,点击更新后,系统自动检测更新的变量影响了的服务,影响的服务会自动应用最新的变量值。

K8s YAML 测试服务 - 图31 K8s YAML 测试服务 - 图32

更新服务变量

在环境中,点击更新服务按钮,即可更新对应服务的变量值。同时可以通过勾选 同时更新服务配置,选择是否更新当前服务的 YAML 版本。

更新服务变量

策略配置

在策略中设置部署服务的超时时间、服务配置更新后是否自动同步更新环境以及交付物命名规则。

服务策略配置

基本说明

  • 服务部署超时设置:将服务部署到环境中的超时时间,默认值为 10 分钟。若超出该阈值服务仍未处于 Running 状态,则视为部署超时。
  • 服务自动更新设置:开启后,若服务配置变更,ZadigX 会自动对包含该服务的环境进行更新,应用最新的服务配置。
  • 交付物命名规则设置:自定义该项目中工作流构建产物的命名规则,可通过以下内置变量和常量组合的方式设置,对当前项目的所有服务都生效。其中 JENKINS 生成镜像规则适用于使用 Jenkins 构建 的服务,不可使用下述内置变量中的 REPO_* 变量。

内置变量

变量名称描述
TIMESTAMP工作流任务的执行时间戳,形如 20211029113304
TASK_ID工作流任务的 ID
REPO_BRANCH构建过程中指定代码仓库使用的分支信息,JENKINS 生成镜像规则中不适用
REPO_PR1. 构建过程中指定代码仓库使用的 Pull Request ID 信息,若指定了多个 Pull Request,则会使用 - 将多个 ID 拼接起来
2. JENKINS 生成镜像规则中该变量不适用
REPO_TAG1. 构建过程中指定代码仓库使用的 Tag 信息
2. JENKINS 生成镜像规则中不适用
REPO_COMMIT_ID1. 构建过程中指定代码仓库使用的 Commit ID 信息
2. JENKINS 生成镜像规则中不适用
PROJECT构建所属的 ZadigX 项目名称
SERVICE构建编译的服务组件名称
ENV_NAME构建部署的环境名称
字符常量大小写字母、数字、中划线、下划线及点组合生成的 127 个字符以内的常量

服务 YAML 样例

无状态服务

概念:服务运行的实例不会在本地存储需要持久化的数据,并且多个实例对于同一个请求响应的结果是完全一致的。可以参考这篇文章K8s YAML 测试服务 - 图35 (opens new window)了解无状态服务的更多细节。

点击查看

  1. apiVersion: apps/v1
  2. kind: Deployment
  3. metadata:
  4. name: nginx-deployment
  5. spec:
  6. selector:
  7. matchLabels:
  8. app: nginx
  9. replicas: 2 # 2 个 Pod 实例
  10. template:
  11. metadata:
  12. labels:
  13. app: nginx
  14. spec:
  15. containers:
  16. - name: nginx
  17. image: nginx:1.14.2
  18. ports:
  19. - containerPort: 80

有状态服务

概念:服务的实例可以将一部分数据随时进行备份,并且在创建一个新的有状态服务时,可以通过备份恢复这些数据,以达到数据持久化的目的。可以参考这篇文章K8s YAML 测试服务 - 图36 (opens new window)了解有状态服务的更多细节。

点击查看

  1. apiVersion: v1
  2. kind: ConfigMap
  3. metadata:
  4. name: mysql
  5. labels:
  6. app: mysql
  7. data:
  8. master.cnf: |
  9. # Apply this config only on the master.
  10. [mysqld]
  11. log-bin
  12. slave.cnf: |
  13. # Apply this config only on slaves.
  14. [mysqld]
  15. super-read-only
  16. ---
  17. # Headless service for stable DNS entries of StatefulSet members.
  18. apiVersion: v1
  19. kind: Service
  20. metadata:
  21. name: mysql
  22. labels:
  23. app: mysql
  24. spec:
  25. ports:
  26. - name: mysql
  27. port: 3306
  28. clusterIP: None
  29. selector:
  30. app: mysql
  31. ---
  32. # Client service for connecting to any MySQL instance for reads.
  33. # For writes, you must instead connect to the master: mysql-0.mysql.
  34. apiVersion: v1
  35. kind: Service
  36. metadata:
  37. name: mysql-read
  38. labels:
  39. app: mysql
  40. spec:
  41. ports:
  42. - name: mysql
  43. port: 3306
  44. selector:
  45. app: mysql
  46. ---
  47. apiVersion: apps/v1beta1
  48. kind: StatefulSet
  49. metadata:
  50. name: mysql
  51. spec:
  52. selector:
  53. matchLabels:
  54. app: mysql
  55. serviceName: mysql
  56. # 1 master and 2 slave
  57. replicas: 3
  58. template:
  59. metadata:
  60. labels:
  61. app: mysql
  62. spec:
  63. initContainers:
  64. - name: init-mysql
  65. image: mysql:5.7
  66. command:
  67. - bash
  68. - "-c"
  69. - |
  70. set -ex
  71. # Generate mysql server-id from pod ordinal index.
  72. [[ `hostname` =~ -([0-9]+)$ ]] || exit 1
  73. ordinal=${BASH_REMATCH[1]}
  74. echo [mysqld] > /mnt/conf.d/server-id.cnf
  75. # Add an offset to avoid reserved server-id=0 value.
  76. echo server-id=$((100 + $ordinal)) >> /mnt/conf.d/server-id.cnf
  77. # Copy appropriate conf.d files from config-map to emptyDir.
  78. if [[ $ordinal -eq 0 ]]; then
  79. cp /mnt/config-map/master.cnf /mnt/conf.d/
  80. else
  81. cp /mnt/config-map/slave.cnf /mnt/conf.d/
  82. fi
  83. volumeMounts:
  84. - name: conf
  85. mountPath: /mnt/conf.d
  86. - name: config-map
  87. mountPath: /mnt/config-map
  88. - name: clone-mysql
  89. image: gcr.azk8s.cn/google-samples/xtrabackup:1.0
  90. command:
  91. - bash
  92. - "-c"
  93. - |
  94. set -ex
  95. # Skip the clone if data already exists.
  96. [[ -d /var/lib/mysql/mysql ]] && exit 0
  97. # Skip the clone on master (ordinal index 0).
  98. [[ `hostname` =~ -([0-9]+)$ ]] || exit 1
  99. ordinal=${BASH_REMATCH[1]}
  100. [[ $ordinal -eq 0 ]] && exit 0
  101. # Clone data from previous peer.
  102. ncat --recv-only mysql-$(($ordinal-1)).mysql 3307 | xbstream -x -C /var/lib/mysql
  103. # Prepare the backup.
  104. xtrabackup --prepare --target-dir=/var/lib/mysql
  105. volumeMounts:
  106. - name: data
  107. mountPath: /var/lib/mysql
  108. subPath: mysql
  109. - name: conf
  110. mountPath: /etc/mysql/conf.d
  111. containers:
  112. - name: mysql
  113. image: mysql:5.7
  114. env:
  115. - name: MYSQL_ALLOW_EMPTY_PASSWORD
  116. value: "1"
  117. ports:
  118. - name: mysql
  119. containerPort: 3306
  120. volumeMounts:
  121. - name: data
  122. mountPath: /var/lib/mysql
  123. subPath: mysql
  124. - name: conf
  125. mountPath: /etc/mysql/conf.d
  126. resources:
  127. requests:
  128. cpu: 500m
  129. memory: 1Gi
  130. limits:
  131. cpu: 500m
  132. memory: 1Gi
  133. livenessProbe:
  134. exec:
  135. command: ["mysqladmin", "ping"]
  136. initialDelaySeconds: 30
  137. periodSeconds: 10
  138. timeoutSeconds: 5
  139. readinessProbe:
  140. exec:
  141. # Check we can execute queries over TCP (skip-networking is off).
  142. command: ["mysql", "-h", "127.0.0.1", "-e", "SELECT 1"]
  143. initialDelaySeconds: 5
  144. periodSeconds: 2
  145. timeoutSeconds: 1
  146. - name: xtrabackup
  147. image: gcr.azk8s.cn/google-samples/xtrabackup:1.0
  148. ports:
  149. - name: xtrabackup
  150. containerPort: 3307
  151. command:
  152. - bash
  153. - "-c"
  154. - |
  155. set -ex
  156. cd /var/lib/mysql
  157. # Determine binlog position of cloned data, if any.
  158. if [[ -f xtrabackup_slave_info && "x$(<xtrabackup_slave_info)" != "x" ]]; then
  159. # XtraBackup already generated a partial "CHANGE MASTER TO" query
  160. # because we're cloning from an existing slave. (Need to remove the tailing semicolon!)
  161. cat xtrabackup_slave_info | sed -E 's/;$//g' > change_master_to.sql.in
  162. # Ignore xtrabackup_binlog_info in this case (it's useless).
  163. rm -f xtrabackup_slave_info xtrabackup_binlog_info
  164. elif [[ -f xtrabackup_binlog_info ]]; then
  165. # We're cloning directly from master. Parse binlog position.
  166. [[ `cat xtrabackup_binlog_info` =~ ^(.*?)[[:space:]]+(.*?)$ ]] || exit 1
  167. rm -f xtrabackup_binlog_info xtrabackup_slave_info
  168. echo "CHANGE MASTER TO MASTER_LOG_FILE='${BASH_REMATCH[1]}',\
  169. MASTER_LOG_POS=${BASH_REMATCH[2]}" > change_master_to.sql.in
  170. fi
  171. # Check if we need to complete a clone by starting replication.
  172. if [[ -f change_master_to.sql.in ]]; then
  173. echo "Waiting for mysqld to be ready (accepting connections)"
  174. until mysql -h 127.0.0.1 -e "SELECT 1"; do sleep 1; done
  175. echo "Initializing replication from clone position"
  176. mysql -h 127.0.0.1 \
  177. -e "$(<change_master_to.sql.in), \
  178. MASTER_HOST='mysql-0.mysql', \
  179. MASTER_USER='root', \
  180. MASTER_PASSWORD='', \
  181. MASTER_CONNECT_RETRY=10; \
  182. START SLAVE;" || exit 1
  183. # In case of container restart, attempt this at-most-once.
  184. mv change_master_to.sql.in change_master_to.sql.orig
  185. fi
  186. # Start a server to send backups when requested by peers.
  187. exec ncat --listen --keep-open --send-only --max-conns=1 3307 -c \
  188. "xtrabackup --backup --slave-info --stream=xbstream --host=127.0.0.1 --user=root"
  189. volumeMounts:
  190. - name: data
  191. mountPath: /var/lib/mysql
  192. subPath: mysql
  193. - name: conf
  194. mountPath: /etc/mysql/conf.d
  195. resources:
  196. requests:
  197. cpu: 100m
  198. memory: 100Mi
  199. volumes:
  200. - name: conf
  201. emptyDir: {}
  202. - name: config-map
  203. configMap:
  204. name: mysql
  205. volumeClaimTemplates:
  206. - metadata:
  207. name: data
  208. spec:
  209. accessModes: ["ReadWriteOnce"]
  210. resources:
  211. requests:
  212. storage: 10Gi