分库分表场景下的数据校验

sync-diff-inspector 支持对分库分表场景进行数据校验。例如有两个 MySQL 实例，使用同步工具 DM 同步到一个 TiDB 中，场景如图所示：

shard-table-sync

则需要为 table-0 在 table-config 中进行特殊配置，设置 is-sharding=true，并且在 table-config.source-tables 中配置上游表信息。完整的示例配置如下：

  1. # Diff Configuration.
  3. ######################### Global config #########################
  5. # 日志级别，可以设置为 info、debug
  6. log-level = "info"
  8. # sync-diff-inspector 根据主键／唯一键／索引将数据划分为多个 chunk，
  9. # 对每一个 chunk 的数据进行对比。使用 chunk-size 设置 chunk 的大小
  10. chunk-size = 1000
  12. # 检查数据的线程数量
  13. check-thread-count = 4
  15. # 抽样检查的比例，如果设置为 100 则检查全部数据
  16. sample-percent = 100
  18. # 通过计算 chunk 的 checksum 来对比数据，如果不开启则逐行对比数据
  19. use-checksum = true
  21. # 如果设置为 true 则只会通过计算 checksum 来校验数据，如果上下游的 checksum 不一致也不会查出数据再进行校验
  22. only-use-checksum = false
  24. # 是否使用上次校验的 checkpoint，如果开启，则只校验上次未校验以及校验失败的 chunk
  25. use-checkpoint = true
  27. # 不对比数据
  28. ignore-data-check = false
  30. # 不对比表结构
  31. ignore-struct-check = false
  33. # 保存用于修复数据的 sql 的文件名称
  34. fix-sql-file = "fix.sql"
  36. ######################### Tables config #########################
  38. # 配置需要对比的目标数据库中的表
  39. [[check-tables]]
  40.     # 库的名称
  41.     schema = "test"
  43.     # 需要检查的表的名称
  44.     tables = ["table-0"]
  46. # 配置该表对应的分表的相关配置
  47. [[table-config]]
  48.     # 目标库的名称
  49.     schema = "test"
  51.     # 目标库中表的名称
  52.     table = "table-0"
  54.     # 为分库分表场景下数据的对比，设置为 true
  55.     is-sharding = true
  57.     # 源数据表的配置
  58.     [[table-config.source-tables]]
  59.     # 源数据库实例的 id
  60.     instance-id = "MySQL-1"
  61.     schema = "test"
  62.     table  = "table-1"
  64.     [[table-config.source-tables]]
  65.     # 源数据库实例的 id
  66.     instance-id = "MySQL-1"
  67.     schema = "test"
  68.     table  = "table-2"
  70.     [[table-config.source-tables]]
  71.     # 源数据库实例的 id
  72.     instance-id = "MySQL-2"
  73.     schema = "test"
  74.     table  = "table-3"
  76. ######################### Databases config #########################
  78. # 源数据库实例的配置
  79. [[source-db]]
  80.     host = "127.0.0.1"
  81.     port = 3306
  82.     user = "root"
  83.     password = "123456"
  84.     instance-id = "MySQL-1"
  86. # 源数据库实例的配置
  87. [[source-db]]
  88.     host = "127.0.0.2"
  89.     port = 3306
  90.     user = "root"
  91.     password = "123456"
  92.     instance-id = "MySQL-2"
  94. # 目标数据库实例的配置
  95. [target-db]
  96.     host = "127.0.0.3"
  97.     port = 4000
  98.     user = "root"
  99.     password = "123456"
  100.     instance-id = "target-1"