数据库迁移

Erda MySQL Migration 为数据库迁移工具。

功能介绍

该 Action 用于将代码仓库中的 SQL 脚本更新至数据库。用户需将用于 Migration 的 SQL 脚本提交至某个目录，并按模块进行分门别类。

若指定 .erda/migrations 目录为存放脚本的目录，则目录结构为：

  1. repo-root:.
  2. ├── .erda
  3. │  └── migrations
  4. │      ├── config.yml
  5. │      ├── module_1
  6. │      │    ├── 210101_base.sql
  7. │      │    ├── 210101_feature_1.sql
  8. │      │    └── 210201_feature_2.sql 
  9. │      │    
  10. │      └── module_2
  11. │           ├── 210101_base.sql
  12. │           └── 210201_some_feature.sql
  13. ├── other_directories
  14. └── dice.yml

其中 module_1 和 module_2 是用户定义的业务模块名，可自定义。module 目录下存放 SQL 脚本。

Erda MySQL Migration Action 将读取所有脚本，并安装至数据库中。

参数说明

  • workdir：工作目录，对应仓库根目录，默认为 ${git-checkout}。
  • migrationdir：SQL 脚本存放目录，例如上文提及的 .erda/migrations。
  • database：库名，即 MySQL Schema 名称。
  • mysqllint：是否对即将安装的脚本进行规约检查。
  • lint_config：规约配置文件，若未填写则使用默认配置。
  • modules：执行 migrate 的模块列表，若未填写则执行 migrationdir 目录下的所有模块。

注意事项

  • 该 Action 连接 MySQL Addon，若 Runtime 下无 MySQL Addon，则执行失败。
  • 若初次使用该 Action 前，数据库中已存在业务表，需将该部分业务表结构和初始化数据整理为基线 SQL 脚本并在脚本首行标记 # MIGRATION_BASE。
  • 若指定的 database 不存在，该 Action 将自动创建。
  • Action 执行模块内的 SQL 脚本时，将优先执行标记 # MIGRATION_BASE 的基线脚本，存在多个基线脚本时，按字符排序执行。随后执行其他脚本，同样以字符排序执行。因此为脚本命名时，建议命名方式为“日期 + 数字序号 + feature 描述”。脚本文件名后缀应为 .sql。
  • Action 增量执行脚本。执行前将对比执行记录，仅执行前次执行后增量的脚本。已执行的脚本不可修改内容或重命名，否则 Action 将无法比对。Action 将在数据库中新增一个执行记录表 schema_migration_history，记录已执行的文件，由此进行对比，请勿删除该表。
  • 该 Action 仅允许执行 DDL（数据定义语言） 和 DML（数据操作语言），不支持 TCL（事务控制语言）和 DCL（数据控制语言），因此该 Action 不允许脚本中存在事务控制、授权等操作。

示例

  1. allowed_ddl:    # allowed_ddl 表示是否允许在 migration 中执行该类型的 DDL
  2.     create_database_stmt: false
  3.     alter_database_stmt: false
  4.     drop_database_stmt: false
  5.     create_table_stmt: true
  6.     drop_table_stmt: false
  7.     drop_sequence_stmt: false
  8.     rename_table_stmt: false
  9.     create_view_stmt: false
  10.     create_sequence_stmt: false
  11.     create_index_stmt: true
  12.     drop_index_stmt: true
  13.     lock_tables_stmt: false
  14.     unlock_tables_stmt: false
  15.     cleanup_table_lock_stmt: false
  16.     repair_table_stmt: false
  17.     truncate_table_stmt: false
  18.     recover_table_stmt: false
  19.     flash_back_table_stmt: false
  20.     alter_table_option: true
  21.     alter_table_add_columns: true
  22.     alter_table_add_constraint: true
  23.     alter_table_drop_column: false
  24.     alter_table_drop_primary_key: false
  25.     alter_table_drop_index: true
  26.     alter_table_drop_foreign_key: false
  27.     alter_table_modify_column: true
  28.     alter_table_change_column: true
  29.     alter_table_rename_column: false
  30.     alter_table_rename_table: false
  31.     alter_table_alter_column: true
  32.     alter_table_lock: false
  33.     alter_table_algorithm: false
  34.     alter_table_rename_index: true
  35.     alter_table_force: false
  36.     alter_table_add_partitions: false
  37.     alter_table_coalesce_partitions: false
  38.     alter_table_drop_partition: false
  39.     alter_table_truncate_partition: false
  40.     alter_table_partition: false
  41.     alter_table_enable_keys: false
  42.     alter_table_disable_keys: false
  43.     alter_table_remove_partitioning: false
  44.     alter_table_with_validation: false
  45.     alter_table_without_validation: false
  46.     alter_table_secondary_load: false
  47.     alter_table_secondary_unload: false
  48.     alter_table_rebuild_partition: false
  49.     alter_table_reorganize_partition: false
  50.     alter_table_check_partitions: false
  51.     alter_table_exchange_partition: false
  52.     alter_table_optimize_partition: false
  53.     alter_table_repair_partition: false
  54.     alter_table_import_partition_tablespace: false
  55.     alter_table_discard_partition_tablespace: false
  56.     alter_table_alter_check: false
  57.     alter_table_drop_check: false
  58.     alter_table_import_tablespace: false
  59.     alter_table_discard_tablespace: false
  60.     alter_table_index_invisible: false
  61.     alter_table_order_by_columns: false
  62.     alter_table_set_ti_flash_replica: false
  63. allowed_dml:  # allowed_dml 表示是否允许在 migration 中执行该类型的 DML 
  64.     select_stmt: true
  65.     union_stmt: true
  66.     load_data_stmt: false
  67.     insert_stmt: true
  68.     delete_stmt: false
  69.     update_stmt: true
  70.     show_stmt: true
  71.     split_region_stmt: false
  72. boolean_field_linter: true      # 以系动词开头的字段应当为 boolean（tinyint(1)） 类型, boolean 类型字段命名应当以系动词开头
  73. charset_linter: true            # 建表语句应当显示注明 charset 为 utf8mb4
  74. column_comment_linter: true     # 列定义应当有 comment
  75. column_name_linter: true        # 列命名应当只包含字母数字下划线, 不以数字开头, 两个下划线中不能只有数字, 字母都应当小写
  76. created_at_default_value_linter: true # created_at 默认值应当跟踪当前时间
  77. created_at_exists_linter: true  # 表定义时应当有 created_at 列
  78. created_at_type_linter: true    # created_at 类型应当为 datetime
  79. destruct_linter: true           # 破坏性检查: 如不允许删库、删表、删字段等
  80. float_double_linter: true       # 小数不能用 float 或 double 表示，应当用 decimal
  81. foreign_key_linter: true        # 不允许使用外键
  82. id_exists_linter: true          # 表定义时必须有 id 字段
  83. id_is_primary_linter: true      # id 字段必须是主键
  84. id_type_linter: true            # id 必须是 bigint 类型
  85. index_length_linter: true       # 索引长度检查，单列索引长度不能超过 767 bytes，联合索引长度不能超过 3072 bytes
  86. index_name_linter: true         # 唯一索引名以 uk_ 开头 , 普通索引名以 idx_ 开头
  87. keywords_linter: true           # 关键字检查，不能使用 MySQL 保留字或关键字作为表名列名
  88. not_null_linter: true           # 表定义时所有字段都应当是 not null 的
  89. table_comment_linter: true      # 表定义时应当有表 comment
  90. table_name_linter: true         # 表名检查，与列名检查规则基本相同
  91. updated_at_exists_linter: true  # 表定义时应当有 updated_at 字段
  92. updated_at_type_linter: true    # updated_at 字段的类型应当为 datetime
  93. updated_at_default_value_linter: true # updated_at 字段默认值应当跟踪创建时间
  94. updated_at_on_update_linter: true # updated_at 字段应当跟踪更新时间
  95. varchar_length_linter: true     # varchar 类型长度不应当超过 5000
  96. complete_insert_linter: true    # INSERT 或 REPLACE 语句应当写清列名 
  97. manual_time_setter_linter: true # 不允许在 migration 中修改行数据时手动 created_at 或 updated_at 时间