日志重放工具

sdbreplay 是 SequoiaDB 巨杉数据库的日志重放工具。在复制组内，主节点上的写操作会记录到同步日志中，备节点通过同步日志实现与主节点的数据同步。同步日志循环使用磁盘上的日志文件，新产生的日志会覆盖旧的日志，同步日志只能保存最近的部分日志。通过开启日志归档，可以持续归档数据节点的同步日志，归档日志不会被覆盖。通过重新执行在其它集群或节点的日志重放工具，用户可以实现不同集群间的数据同步。

基本功能

日志重放工具主要功能如下:

• 读取日志并在 SequoiaDB 巨杉数据库上执行重放
• 根据条件（日志文件、集合空间、集合、操作和 LSN）过滤日志进行重放
• 持续监控归档目录并重放日志
• 在后台执行日志重放
• 生成状态文件，重启后继续执行退出前的重放

支持重放的日志操作如下：

Note:

• 重放时根据归档文件的 FileId 从小到大重放
• 重放出错时重放工具会立即退出，已经重放的日志不会回滚
• 归档日志 LSN 不连续时重放工具会报错退出
• 通过 status 选项指定状态文件，可以从上次退出的地方继续重放，不指定时每次从第一个归档文件开始重放
• 未重放的归档日志文件发生了移动操作后，移动文件不会被重放；已重放的归档日志文件发生了移动操作，重放工具会回滚移动文件中的日志操作
• 不支持回滚 truncatecl 操作，回滚时遇到 truncatecl 操作会报错退出
• 在后台执行时可以通过 kill -15 的方式停止进程
• 复制日志是幂等的，同一条日志多次重放结果不变
• 归档重放过程中，如果在集合上执行 split 操作，通过协调节点重放到同一个集群时可能会丢失数据。因为 split 的源复制组在数据迁移到目标复制组后会删除本地相应数据，并生成删除日志；而目标复制组接收数据后生成插入日志。如果目标复制组的归档日志先被重放而后源复制组的归档日志才被重放，那么迁移的那部分数据重放时先插入后被删除，导致数据丢失。此时可以通过再次重放目标复制组的归档日志来重新插入丢失的数据

参数说明

其中 —filter 为 json 格式的字符串，可以指定过滤条件对日志进行过滤，支持的过滤条件如下：

outputconf说明

outputconf 是以 json 格式表示的，用于设置输出格式的配置文件，其具体参数有：

outputconf 示例如下：

$cat output.conf
{
  outputType: "DB2LOAD",
  outputDir: "/home/mount/sequoiadb/replay/output/",
  filePrefix: "SDB_db1_1000",
  submitTime: "21:00",
  delimiter: ",",
  tables:
  [
   {
     source: "cs.cl",
     target: "dbName.tableName",
     fields:
     [
       {
         fieldType: "ORIGINAL_TIME"
       },
       {
         fieldType: "CONST_STRING",
         constValue: "0"
       },
       {
         fieldType: "AUTO_OP"
       },
       {
         source: "a",
         target: "column1",
         fieldType: "MAPPING_STRING"
       },
       {
         source: "b",
         target: "column2",
         fieldType: "MAPPING_STRING",
         doubleQuote: false
       },
       {
         source: "_id",
         target: "column3",
         fieldType: "MAPPING_STRING"
       }
     ]
   }
  ]
}

上述配置下，生成的结果文件格式如下：

$cat SDB_db1_1000_dbName_tableName_0000000001_384_201904291212.csv
"2019-04-10 14.52.17.551928","0","D","a4",b4,"5cad8cc8da342dfe37a40e84"
"2019-04-10 14.52.17.553750","0","I","a1",b1111,"5cac3850da342dfe37a40eee"
"2019-04-10 14.52.17.553820","0","B","a1",b1111,"5cac3850da342dfe37a40eee"
"2019-04-10 14.52.17.553820","0","A","a1",b22,"5cac3850da342dfe37a40eee"

Note:

第一条为删除操作，删除记录{“_id”: {“$oid”: “5cad8cc8da342dfe37a40e84”}, “a”: “a4”, “b”: “b4”}

第二条为插入操作，插入记录{“a”: “a1”, “b”: “b1111”}

第三、四条为更新操作，更新前记录为：{“_id”: {“$oid”: “5cac3850da342dfe37a40eee”}, “a”: “a1”, “b”: “b1111”}，更新后操作为：{“_id”: {“$oid”: “5cac3850da342dfe37a40eee”}, “a”: “a1”, “b”: “b22”}

示例

• 指定归档目录下的 archivelog.1 日志文件进行重放

  $./sdbreplay --hostname sdbserver1 --svcname 11810 --path /data/archivelog/archivelog.1

• 指定归档目录并过滤集合 sample.employee 的 insert 和 update 操作进行重放

  $./sdbreplay --hostname sdbserver1 --svcname 11810 --path /data/archivelog --filter '{ "CL": [ "sample.employee" ], "OP": ["insert"，"update"] }'

• 在后台持续监控归档目录并重放归档日志文件，同时记录状态

  $./sdbreplay --hostname sdbserver1 --svcname 11810 --path /data/archivelog --watch true --daemon true --status 1.status