TiCDC 安装部署与集群运维

本文档介绍部署 TiCDC 集群的软硬件环境要求,如何安装部署 TiCDC 集群,以及如何对 TiCDC 集群进行运维操作。你可以选择在安装 TiDB 集群的同时部署 TiCDC,也可以对原有 TiDB 集群新增 TiCDC 组件。

软件和硬件环境推荐配置

在生产环境中,TiCDC 的软件和硬件配置推荐如下:

Linux 操作系统版本
Red Hat Enterprise Linux7.3 及以上
CentOS7.3 及以上
CPU内存硬盘网络TiCDC 集群实例数量(生产环境最低要求)
16 核+64 GB+500 GB+ SSD 类型硬盘万兆网卡(2 块最佳)2

更多信息参见 TiDB 软件和硬件环境建议配置

使用 TiUP 部署包含 TiCDC 组件的全新 TiDB 集群

在使用 TiUP 部署全新 TiDB 集群时,支持同时部署 TiCDC 组件。你需要在 TiUP 启动 TiDB 集群时的配置文件中加入 TiCDC 相关的部分,以下是一个示例:

  1. cdc_servers:
  2. - host: 10.0.1.20
  3. gc-ttl: 86400
  4. data_dir: "/cdc-data"
  5. - host: 10.0.1.21
  6. gc-ttl: 86400
  7. data_dir: "/cdc-data"

更多参考:

安装部署与集群运维 - 图1

注意

在安装之前,请确认 TiUP 中控机与 TiCDC 目标主机的 SSH 互信及 sudo 免密已经完成配置。

使用 TiUP 在原有 TiDB 集群上新增或扩容 TiCDC 组件

扩容的方式与部署 TiCDC 集群的方式类似,推荐使用 TiUP 工具完成。

  1. 编写一个名为 scale-out.yml 的配置文件,包含需要扩容的节点的配置信息。下面是一个示例:

    1. cdc_servers:
    2. - host: 10.1.1.1
    3. gc-ttl: 86400
    4. data_dir: /tidb-data/cdc-8300
    5. - host: 10.1.1.2
    6. gc-ttl: 86400
    7. data_dir: /tidb-data/cdc-8300
    8. - host: 10.0.1.4
    9. gc-ttl: 86400
    10. data_dir: /tidb-data/cdc-8300
  2. 在 TiUP 中控机上执行类似下面的命令进行扩容:

    1. tiup cluster scale-out <cluster-name> scale-out.yml

更多用例说明,请参考扩容 TiCDC 节点

使用 TiUP 在原有 TiDB 集群上移除或缩容 TiCDC 组件

推荐使用 TiUP 完成对 TiCDC 集群节点的缩容。使用类似下面的命令完成缩容:

  1. tiup cluster scale-in <cluster-name> --node 10.0.1.4:8300

更多用例说明,请参考缩容 TiCDC 节点

使用 TiUP 升级 TiCDC 集群

TiUP 支持升级 TiDB 集群,包括 TiCDC 组件。执行升级指令时,TiUP 会自动升级 TiCDC 组件,无需额外操作。操作示例如下:

  1. tiup update --self && \
  2. tiup update --all && \
  3. tiup cluster upgrade <cluster-name> <version> --transfer-timeout 600

安装部署与集群运维 - 图2

注意

命令中的 <cluster-name> 需要替换为集群名字,<version> 需要替换为目标版本号,例如 v8.1.0。

升级的注意事项

升级 TiCDC 集群时,需要注意以下事项:

  • TiCDC v4.0.2 对 changefeed 的配置做了调整,请参阅配置文件兼容注意事项

  • 升级期间遇到的问题及其解决办法,请参阅使用 TiUP 升级 TiDB

  • TiCDC 自 v6.3.0 起支持滚动升级,使用 TiUP 升级 TiCDC 节点期间,能够保证同步延迟稳定,不发生剧烈波动。满足以下条件将自动启用滚动升级:

    • TiCDC 版本大于等于 v6.3.0。
    • TiUP 版本大于等于 v1.11.3。
    • 集群中至少有两个正在运行的 TiCDC 实例。

使用 TiUP 变更 TiCDC 集群配置

本节介绍如何使用 TiUP 的 tiup cluster edit-config 命令来修改 TiCDC 的配置。在以下例子中,假设需要把 TiCDC 的 gc-ttl 从默认值 86400 修改为 172800,即 48 小时。

  1. 执行 tiup cluster edit-config 命令,注意将 <cluster-name> 替换成实际的集群名:

    1. tiup cluster edit-config <cluster-name>
  2. 在 vi 编辑器页面,修改 server-configs 下的 cdc 配置:

    1. server_configs:
    2. tidb: {}
    3. tikv: {}
    4. pd: {}
    5. tiflash: {}
    6. tiflash-learner: {}
    7. pump: {}
    8. drainer: {}
    9. cdc:
    10. gc-ttl: 172800

    以上把 TiCDC 的 gc-ttl 的值设置为 48 小时。

  3. 执行 tiup cluster reload -R cdc 命令重新加载配置。

使用 TiUP 终止和启动 TiCDC 节点

使用 TiUP 可以方便地终止和启动 TiCDC 节点,命令如下:

  • 终止 TiCDC 节点:tiup cluster stop -R cdc
  • 启动 TiCDC 节点:tiup cluster start -R cdc
  • 重启 TiCDC 节点:tiup cluster restart -R cdc

使用加密传输 (TLS) 功能

请参阅为 TiDB 组件间通信开启加密传输

使用 TiCDC 命令行工具来查看集群状态

执行以下命令来查看 TiCDC 集群运行状态,注意需要将 v<CLUSTER_VERSION> 替换为 TiCDC 集群版本,例如 v8.1.0

  1. tiup cdc:v<CLUSTER_VERSION> cli capture list --server=http://10.0.10.25:8300
  1. [
  2. {
  3. "id": "806e3a1b-0e31-477f-9dd6-f3f2c570abdd",
  4. "is-owner": true,
  5. "address": "127.0.0.1:8300",
  6. "cluster-id": "default"
  7. },
  8. {
  9. "id": "ea2a4203-56fe-43a6-b442-7b295f458ebc",
  10. "is-owner": false,
  11. "address": "127.0.0.1:8301",
  12. "cluster-id": "default"
  13. }
  14. ]
  • id:表示服务进程的 ID。
  • is-owner:表示该服务进程是否为 owner 节点。
  • address:该服务进程对外提供接口的地址。
  • cluster-id:该 TiCDC 的集群 ID,默认值为 default