分库分表场景下的数据校验

sync-diff-inspector 支持对分库分表场景进行数据校验。例如有多个 MySQL 实例，使用同步工具 DM 同步到一个 TiDB 中，用户可以使用 sync-diff-inspector 对上下游数据进行校验。

使用 table-config 进行配置

使用 table-config 对 table-0 进行特殊配置，设置 is-sharding=true，并且在 table-config.source-tables 中配置上游表信息。这种配置方式需要对所有分表进行设置，适合上游分表数量较少，且分表的命名规则没有规律的场景。场景如图所示：

shard-table-sync-1

sync-diff-inspector 完整的示例配置如下：

  1. # Diff Configuration.
  3. ######################### Global config #########################
  5. # 日志级别，可以设置为 info、debug
  6. log-level = "info"
  8. # sync-diff-inspector 根据主键／唯一键／索引将数据划分为多个 chunk，
  9. # 对每一个 chunk 的数据进行对比。使用 chunk-size 设置 chunk 的大小
  10. chunk-size = 1000
  12. # 检查数据的线程数量
  13. check-thread-count = 4
  15. # 抽样检查的比例，如果设置为 100 则检查全部数据
  16. sample-percent = 100
  18. # 通过计算 chunk 的 checksum 来对比数据，如果不开启则逐行对比数据
  19. use-checksum = true
  21. # 如果设置为 true 则只会通过计算 checksum 来校验数据，如果上下游的 checksum 不一致也不会查出数据再进行校验
  22. only-use-checksum = false
  24. # 是否使用上次校验的 checkpoint，如果开启，则只校验上次未校验以及校验失败的 chunk
  25. use-checkpoint = true
  27. # 不对比数据
  28. ignore-data-check = false
  30. # 不对比表结构
  31. ignore-struct-check = false
  33. # 保存用于修复数据的 sql 的文件名称
  34. fix-sql-file = "fix.sql"
  36. ######################### Tables config #########################
  38. # 配置需要对比的目标数据库中的表
  39. [[check-tables]]
  40.     # 库的名称
  41.     schema = "test"
  43.     # 需要检查的表的名称
  44.     tables = ["table-0"]
  46. # 配置该表对应的分表的相关配置
  47. [[table-config]]
  48.     # 目标库的名称
  49.     schema = "test"
  51.     # 目标库中表的名称
  52.     table = "table-0"
  54.     # 为分库分表场景下数据的对比，设置为 true
  55.     is-sharding = true
  57.     # 源数据表的配置
  58.     [[table-config.source-tables]]
  59.     # 源数据库实例的 id
  60.     instance-id = "MySQL-1"
  61.     schema = "test"
  62.     table  = "table-1"
  64.     [[table-config.source-tables]]
  65.     # 源数据库实例的 id
  66.     instance-id = "MySQL-1"
  67.     schema = "test"
  68.     table  = "test-2"
  70.     [[table-config.source-tables]]
  71.     # 源数据库实例的 id
  72.     instance-id = "MySQL-2"
  73.     schema = "test"
  74.     table  = "table-3"
  76. ######################### Databases config #########################
  78. # 源数据库实例的配置
  79. [[source-db]]
  80.     host = "127.0.0.1"
  81.     port = 3306
  82.     user = "root"
  83.     password = "123456"
  84.     instance-id = "MySQL-1"
  86. # 源数据库实例的配置
  87. [[source-db]]
  88.     host = "127.0.0.2"
  89.     port = 3306
  90.     user = "root"
  91.     password = "123456"
  92.     instance-id = "MySQL-2"
  94. # 目标数据库实例的配置
  95. [target-db]
  96.     host = "127.0.0.3"
  97.     port = 4000
  98.     user = "root"
  99.     password = "123456"
  100.     instance-id = "target-1"

使用 table-rules 进行配置

当上游分表较多，且所有分表的命名都符合一定的规则时，则可以使用 table-rules 进行配置。场景如图所示：

shard-table-sync-2

sync-diff-inspector 完整的示例配置如下：

  1. # Diff Configuration.
  3. ######################### Global config #########################
  5. # 日志级别，可以设置为 info、debug
  6. log-level = "info"
  8. # sync-diff-inspector 根据主键／唯一键／索引将数据划分为多个 chunk，
  9. # 对每一个 chunk 的数据进行对比。使用 chunk-size 设置 chunk 的大小
  10. chunk-size = 1000
  12. # 检查数据的线程数量
  13. check-thread-count = 4
  15. # 抽样检查的比例，如果设置为 100 则检查全部数据
  16. sample-percent = 100
  18. # 通过计算 chunk 的 checksum 来对比数据，如果不开启则逐行对比数据
  19. use-checksum = true
  21. # 如果设置为 true 则只会通过计算 checksum 来校验数据，如果上下游的 checksum 不一致也不会查出数据再进行校验
  22. only-use-checksum = false
  24. # 是否使用上次校验的 checkpoint，如果开启，则只校验上次未校验以及校验失败的 chunk
  25. use-checkpoint = true
  27. # 不对比数据
  28. ignore-data-check = false
  30. # 不对比表结构
  31. ignore-struct-check = false
  33. # 保存用于修复数据的 sql 的文件名称
  34. fix-sql-file = "fix.sql"
  36. ######################### Tables config #########################
  38. # 配置需要对比的目标数据库中的表
  39. [[check-tables]]
  40.     # 库的名称
  41.     schema = "test"
  43.     # 需要检查的表的名称
  44.     tables = ["table-0"]
  46. # 通过 table-rule 来设置上游分表与下游总表的映射关系。可以只配置 schema 或者 table 的映射关系，也可以都配置
  47. [[table-rules]]
  48.     # schema-pattern 和 table-pattern 支持通配符 *?
  49.     # 在 source-db 中配置的上游数据库中所有满足 schema-pattern 和 table-pattern 规则的表都为 target-schema.target-table 的分表
  50.     schema-pattern = "test"
  51.     table-pattern = "table-*"
  52.     target-schema = "test"
  53.     target-table = "table-0"
  55. ######################### Databases config #########################
  57. # 源数据库实例的配置
  58. [[source-db]]
  59.     host = "127.0.0.1"
  60.     port = 3306
  61.     user = "root"
  62.     password = "123456"
  63.     instance-id = "MySQL-1"
  65. # 源数据库实例的配置
  66. [[source-db]]
  67.     host = "127.0.0.2"
  68.     port = 3306
  69.     user = "root"
  70.     password = "123456"
  71.     instance-id = "MySQL-2"
  73. # 目标数据库实例的配置
  74. [target-db]
  75.     host = "127.0.0.3"
  76.     port = 4000
  77.     user = "root"
  78.     password = "123456"
  79.     instance-id = "target-1"