TiUP 镜像参考指南

TiUP 镜像是 TiUP 的组件仓库，存放了一些列的组件和这些组件的元信息。镜像有两种存在形式：

  • 本地磁盘上的目录：用于服务本地的 TiUP 客户端，文档中将称之为本地镜像
  • 基于远程的磁盘目录启动的 HTTP 镜像：服务远程的 TiUP 客户端，文档中将称之为远程镜像

镜像的创建与更新

镜像可以通过以下两种方式创建：

  • 通过命令 tiup mirror init 从零生成
  • 通过命令 tiup mirrir clone 从已有镜像克隆

在创建镜像之后，可以通过 tiup mirror 相关命令来给镜像添加组件或删除组件，无论是通过何种方式更新镜像，TiUP 都不会从镜像中删除任何文件，而是通过增加文件并分配新版本号的方式更新。

镜像结构

一个典型的镜像目录结构如下：

  1. + <mirror-dir>                                  # 镜像根目录
  2. |-- root.json                                   # 镜像根证书
  3. |-- {2..N}.root.json                            # 镜像根证书
  4. |-- {1..N}.index.json                           # 组件/用户索引
  5. |-- {1..N}.{component}.json                     # 组件元信息
  6. |-- {component}-{version}-{os}-{arch}.tar.gz    # 组件二进制包
  7. |-- snapshot.json                               # 镜像最新快照
  8. |-- timestamp.json                              # 镜像最新时间戳
  9. |--+ commits                                    # 镜像更新日志（可删除）
  10.    |--+ commit-{ts1..tsN}
  11.       |-- {N}.root.json
  12.       |-- {N}.{component}.json
  13.       |-- {N}.index.json
  14.       |-- {component}-{version}-{os}-{arch}.tar.gz
  15.       |-- snapshot.json
  16.       |-- timestamp.json
  17. |--+ keys                                       # 镜像私钥（可移动到其他位置）
  18.    |-- {hash1..hashN}-root.json                 # 根证书私钥
  19.    |-- {hash}-index.json                        # 索引私钥
  20.    |-- {hash}-snapshot.json                     # 快照私钥
  21.    |-- {hash}-timestamp.json                    # 时间戳私钥

注意：

  • commits 目录是在更新镜像过程中产生的日志，用于回滚镜像，磁盘空间不足时可以定期删除旧的文件夹
  • keys 文件夹中存放的私钥较敏感，建议单独妥善保管

根证书

在 TiUP 镜像中，根证书用于存放其他元信息文件的公钥，每次获取到任何元信息文件（*.json）都需要根据其文件类型（root，index，snapshot，timestamp）在当前已安装的 root.json 中找到对应的公钥，然后用公钥验证其签名是否合法。

根证书文件格式如下：

  1. {
  2.     "signatures": [                                             # 每个元信息文件有一些列的签名，签名由该文件对应的几个私钥签出
  3.         {
  4.             "keyid": "{id-of-root-key-1}",                      # 第一个参与签名私钥的 ID，该 ID 由私钥对应的公钥内容哈希得到
  5.             "sig": "{signature-by-root-key-1}"                  # 该私钥对此文件 signed 部分签名的结果
  6.         },
  7.         ...
  8.         {
  9.             "keyid": "{id-of-root-key-N}",                      # 第 N 个参与签名私钥的 ID
  10.             "sig": "{signature-by-root-key-N}"                  # 该私钥对此文件 signed 部分签名的结果
  11.         }
  12.     ],
  13.     "signed": {                                                 # 被签名的部分
  14.         "_type": "root",                                        # 该字段说明本文件的类型，root.json 的类型就是 root
  15.         "expires": "{expiration-date-of-this-file}",            # 该文件的过期时间，过期后客户端会拒绝此文件
  16.         "roles": {                                              # root.json 中的 roles 用来记录对各个元文件签名的密钥
  17.             "{role:index,root,snapshot,timestamp}": {           # 涉及的元文件类型包括 index, root, snapshot, timestamp
  18.                 "keys": {                                       # 只有 keys 中记录的密钥签名才是合法的
  19.                     "{id-of-the-key-1}": {                      # 用于签名 {role} 的第 1 个密钥 ID
  20.                         "keytype": "rsa",                       # 密钥类型，目前固定为 rsa
  21.                         "keyval": {                             # 密钥的 payload
  22.                             "public": "{public-key-content}"    # 表示公钥内容
  23.                         },
  24.                         "scheme": "rsassa-pss-sha256"           # 目前固定为 rsassa-pss-sha256
  25.                     },
  26.                     "{id-of-the-key-N}": {                      # 用于签名 {role} 的第 N 个密钥 ID
  27.                         "keytype": "rsa",
  28.                         "keyval": {
  29.                             "public": "{public-key-content}"
  30.                         },
  31.                         "scheme": "rsassa-pss-sha256"
  32.                     }
  33.                 },
  34.                 "threshold": {N},                               # threshold 指示该元文件需要至少 N 个密钥签名
  35.                 "url": "/{role}.json"                           # url 是指该文件的获取地址，对于 index 文件，需要在前面加上版本号，即 /{N}.index.json
  36.             }
  37.         },
  38.         "spec_version": "0.1.0",                                # 本文件遵循的规范版本，未来变更文件结构需要升级版本号，目前为 0.1.0
  39.         "version": {N}                                          # 本文件的版本号，每次更新文件需要创建一个新的 {N+1}.root.json，并将其 version 设置为 N + 1
  40.     }
  41. }

索引

索引文件记录了镜像中所有的组件以及组件的所有者信息。

其格式如下：

  1. {
  2.     "signatures": [                                             # 该文件的签名
  3.         {
  4.             "keyid": "{id-of-index-key-1}",                     # 第一个参与签名的 key 的 ID
  5.             "sig": "{signature-by-index-key-1}",                # 该私钥对此文件 signed 部分签名的结果
  6.         },
  7.         ...
  8.         {
  9.             "keyid": "{id-of-root-key-N}",                      # 第 N 个参与签名私钥的 ID
  10.             "sig": "{signature-by-root-key-N}"                  # 该私钥对此文件 signed 部分签名的结果
  11.         }
  12.     ],
  13.     "signed": {
  14.         "_type": "index",                                       # 指示该文件类型
  15.         "components": {                                         # 组件列表
  16.             "{component1}": {                                   # 第一个组件的名称
  17.                 "hidden": {bool},                               # 是否是隐藏组件
  18.                 "owner": "{owner-id}",                          # 组件管理员 ID
  19.                 "standalone": {bool},                           # 该组件是否可独立运行
  20.                 "url": "/{component}.json",                     # 获取组件的地址，需要加上版本号：/{N}.{component}.json
  21.                 "yanked": {bool}                                # 该组件是否已被标记为删除
  22.             },
  23.             ...
  24.             "{componentN}": {                                   # 第 N 个组件的名称
  25.                 ...
  26.             },
  27.         },
  28.         "default_components": ["{component1}".."{componentN}"], # 镜像必须包含的默认组件，该字段目前固定为空（未启用）
  29.         "expires": "{expiration-date-of-this-file}",            # 该文件的过期时间，过期后客户端会拒绝此文件
  30.         "owners": {
  31.             "{owner1}": {                                       # 第一个属主的 ID
  32.                 "keys": {                                       # 只有 keys 中记录的密钥签名才是合法的
  33.                     "{id-of-the-key-1}": {                      # 该属主的第一个密钥
  34.                         "keytype": "rsa",                       # 密钥类型，目前固定为 rsa
  35.                         "keyval": {                             # 密钥的 payload
  36.                             "public": "{public-key-content}"    # 表示公钥内容
  37.                         },
  38.                         "scheme": "rsassa-pss-sha256"           # 目前固定为 rsassa-pss-sha256
  39.                     },
  40.                     ...
  41.                     "{id-of-the-key-N}": {                      # 该属主的第 N 个密钥
  42.                         ...
  43.                     }
  44.                 },
  45.                 "name": "{owner-name}",                         # 该属主的名字
  46.                 "threshod": {N}                                 # 指示该属主拥有的组件必须含有至少 N 个合法签名
  47.             },
  48.             ...
  49.             "{ownerN}": {                                       # 第 N 个属主的 ID
  50.                 ...
  51.             }
  52.         }
  53.         "spec_version": "0.1.0",                                # 本文件遵循的规范版本，未来变更文件结构需要升级版本号，目前为 0.1.0
  54.         "version": {N}                                          # 本文件的版本号，每次更新文件需要创建一个新的 {N+1}.index.json，并将其 version 设置为 N + 1
  55.     }
  56. }

组件

组件元信息文件记录了特定组件的平台以及版本信息。

其格式如下：

  1. {
  2.     "signatures": [                                             # 该文件的签名
  3.         {
  4.             "keyid": "{id-of-index-key-1}",                     # 第一个参与签名的 key 的 ID
  5.             "sig": "{signature-by-index-key-1}",                # 该私钥对此文件 signed 部分签名的结果
  6.         },
  7.         ...
  8.         {
  9.             "keyid": "{id-of-root-key-N}",                      # 第 N 个参与签名私钥的 ID
  10.             "sig": "{signature-by-root-key-N}"                  # 该私钥对此文件 signed 部分签名的结果
  11.         }
  12.     ],
  13.     "signed": {
  14.         "_type": "component",                                   # 指示该文件类型
  15.         "description": "{description-of-the-component}",        # 该组件的描述信息
  16.         "expires": "{expiration-date-of-this-file}",            # 该文件的过期时间，过期后客户端会拒绝此文件
  17.         "id": "{component-id}",                                 # 该组件的 id，具有全局唯一性
  18.         "nightly": "{nightly-cursor}",                          # nightly 游标，值为最新的 nightly 的版本号（如 v5.0.0-nightly-20201209）
  19.         "platforms": {                                          # 该组件支持的平台（如 darwin/amd64，linux/arm64 等）
  20.             "{platform-pair-1}": {
  21.                 "{version-1}": {                                # Semantic Version 版本号（如 v1.0.0 等）
  22.                     "dependencies": null,                       # 用于约定组件之间的依赖关系，该字段尚未使用，固定为 null
  23.                     "entry": "{entry}",                         # 入口二进制文件位于 tar 包的相对路径
  24.                     "hashs": {                                  # tar 包的 checksum，我们使用 sha256 和 sha512
  25.                         "sha256": "{sum-of-sha256}",
  26.                         "sha512": "{sum-of-sha512}",
  27.                     },
  28.                     "length": {length-of-tar},                  # tar 包的长度
  29.                     "released": "{release-time}",               # 该版本的 release 时间
  30.                     "url": "{url-of-tar}",                      # tar 包的下载地址
  31.                     "yanked": {bool}                            # 该版本是否已被禁用
  32.                 }
  33.             },
  34.             ...
  35.             "{platform-pair-N}": {
  36.                 ...
  37.             }
  38.         },
  39.         "spec_version": "0.1.0",                                # 本文件遵循的规范版本，未来变更文件结构需要升级版本号，目前为 0.1.0
  40.         "version": {N}                                          # 本文件的版本号，每次更新文件需要创建一个新的 {N+1}.{component}.json，并将其 version 设置为 N + 1
  41. }

快照

快照文件记录了各个元文件当前的版本号。

其格式如下：

  1. {
  2.     "signatures": [                                             # 该文件的签名
  3.         {
  4.             "keyid": "{id-of-index-key-1}",                     # 第一个参与签名的 key 的 ID
  5.             "sig": "{signature-by-index-key-1}",                # 该私钥对此文件 signed 部分签名的结果
  6.         },
  7.         ...
  8.         {
  9.             "keyid": "{id-of-root-key-N}",                      # 第 N 个参与签名私钥的 ID
  10.             "sig": "{signature-by-root-key-N}"                  # 该私钥对此文件 signed 部分签名的结果
  11.         }
  12.     ],
  13.     "signed": {
  14.         "_type": "snapshot",                                    # 指示该文件类型
  15.         "expires": "{expiration-date-of-this-file}",            # 该文件的过期时间，过期后客户端会拒绝此文件
  16.         "meta": {                                               # 其他元文件的信息
  17.             "/root.json": {
  18.                 "length": {length-of-json-file},                # root.json 的长度
  19.                 "version": {version-of-json-file}               # root.json 的 version
  20.             },
  21.             "/index.json": {
  22.                 "length": {length-of-json-file},
  23.                 "version": {version-of-json-file}
  24.             },
  25.             "/{component-1}.json": {
  26.                 "length": {length-of-json-file},
  27.                 "version": {version-of-json-file}
  28.             },
  29.             ...
  30.             "/{component-N}.json": {
  31.                 ...
  32.             }
  33.         },
  34.         "spec_version": "0.1.0",                                # 本文件遵循的规范版本，未来变更文件结构需要升级版本号，目前为 0.1.0
  35.         "version": 0                                            # 本文件的版本号，固定为 0
  36.     }

时间戳

时间戳文件记录了当前快照 checksum。

其文件格式如下：

  1. {
  2.     "signatures": [                                             # 该文件的签名
  3.         {
  4.             "keyid": "{id-of-index-key-1}",                     # 第一个参与签名的 key 的 ID
  5.             "sig": "{signature-by-index-key-1}",                # 该私钥对此文件 signed 部分签名的结果
  6.         },
  7.         ...
  8.         {
  9.             "keyid": "{id-of-root-key-N}",                      # 第 N 个参与签名私钥的 ID
  10.             "sig": "{signature-by-root-key-N}"                  # 该私钥对此文件 signed 部分签名的结果
  11.         }
  12.     ],
  13.     "signed": {
  14.         "_type": "timestamp",                                   # 指示该文件类型
  15.         "expires": "{expiration-date-of-this-file}",            # 该文件的过期时间，过期后客户端会拒绝此文件
  16.         "meta": {                                               # snapshot.json 的信息
  17.             "/snapshot.json": {
  18.                 "hashes": {
  19.                     "sha256": "{sum-of-sha256}"                 # snapshot.json 的 sha256
  20.                 },
  21.                 "length": {length-of-json-file}                 # snapshot.json 的长度
  22.             }
  23.         },
  24.         "spec_version": "0.1.0",                                # 本文件遵循的规范版本，未来变更文件结构需要升级版本号，目前为 0.1.0
  25.         "version": {N}                                          # 本文件的版本号，每次更新文件需要覆盖 timestamp.json，并将其 version 设置为 N + 1

客户端工作流程

客户端通过以下逻辑保证从镜像下载到的文件是安全的：

  • 客户端安装时随 binary 附带了一个 root.json
  • 客户端运行时以已有的 root.json 为基础，做如下操作：
    1. 获取 root.json 中的 version，记为 N
    2. 向镜像请求 {N+1}.root.json，若成功，使用 root.json 中记录的公钥验证该文件是否合法
  • 向镜像请求 timestamp.json，并使用 root.json 中记录的公钥验证该文件是否合法
  • 检查 timestamp.json 中记录的 snapshot.json 的 checksum 和本地的 snapshot.json 的 checksum 是否吻合
    • 若不吻合，则向镜像请求最新的 snapshot.json 并使用 root.json 中记录的公钥验证该文件是否合法
  • 对于 index.json 文件，从 snapshot.json 中获取其版本号 N，并请求 {N}.index.json，然后使用 root.json 中记录的公钥验证该文件是否合法
  • 对于组件（如 tidb.json，tikv.json），从 snapshot.json 中获取其版本号 N，并请求 {N}.{component}.json，然后使用 index.json 中记录的公钥验证该文件是否合法
  • 对于组件 tar 文件，从 {component}.json 中获取其 url 及 checksum，请求 url 得到 tar 包，并验证 checksum 是否正确