日志重放

归档的日志可以通过日志重放工具sdbreplay在其它集群或节点重新执行。

基本功能

日志重放工具主要功能：

1. 读取日志并在SequoiaDB上执行；
2. 可以根据条件过滤日志（日志文件、集合空间、集合、操作、LSN）；
3. 支持持续监控归档目录并重放日志；
4. 支持在后台执行；
5. 可以生成状态文件从而在退出重启后接续执行退出前的重放。

目前重放工具支持重放的日志操作有：

Note:
1. 重放时根据归档文件的FileId从小到大重放；
2. 重放出错时重放工具会立即退出，已经重放的日志不会回滚；
3. 归档日志LSN不连续时重放工具会报错退出；
4. 通过status选项指定状态文件，可以从上次退出的地方继续重放，不指定时每次从第一个归档文件开始重放；
5. 未重放的归档日志文件发生了移动操作后，移动文件不会被重放；已重放的归档日志文件发生了移动操作，重放工具会回滚移动文件中的日志操作；
6. 不支持回滚truncatecl操作，回滚时遇到truncatecl操作会报错退出；
7. 在后台执行时可以通过kill -15 的方式停止进程。
8. 复制日志是幂等的，同一条日志多次重放结果不变。
9. 归档重放过程中，如果在集合上执行split操作，通过协调节点重放到同一个集群时可能会丢失数据。因为split的源复制组在数据迁移到目标复制组后会删除本地相应数据，并生成删除日志；而目标复制组接收数据后生成插入日志。如果目标复制组的归档日志先被重放而后源复制组的归档日志才被重放，那么迁移的那部分数据重放时先插入后被删除，导致数据丢失。此时可以通过再次重放目标复制组的归档日志来重新插入丢失的数据。

命令选项

其中filter是json格式的字符串，可以指定过滤条件对日志进行过滤，过滤条件有：

Note:
1. 命令选项watch在path指定为目录时有效；
2. dump或dumpheader为true不需要设置hostname和svcname。

outputconf 说明

outputconf是以 json 格式表示的，用于设置输出格式的配置文件。当前只支持一种输出类型：DB2LOAD。其具体参数有：

outputconf具体样例：

$cat output.conf
{
  outputType: "DB2LOAD",
  outputDir: "/home/mount/sequoiadb/replay/output/",
  filePrefix: "SDB_db1_1000",
  submitTime: "21:00",
  delimiter: ",",
  tables:
  [
   {
     source: "cs.cl",
     target: "dbName.tableName",
     fields:
     [
       {
         fieldType: "ORIGINAL_TIME"
       },
       {
         fieldType: "CONST_STRING",
         constValue: "0"
       },
       {
         fieldType: "AUTO_OP"
       },
       {
         source: "a",
         target: "column1",
         fieldType: "MAPPING_STRING"
       },
       {
         source: "b",
         target: "column2",
         fieldType: "MAPPING_STRING",
         doubleQuote: false
       },
       {
         source: "_id",
         target: "column3",
         fieldType: "MAPPING_STRING"
       }
     ]
   }
  ]
}

上述配置下，生成的结果文件格式如下：

$cat SDB_db1_1000_dbName_tableName_0000000001_384_201904291212.csv
"2019-04-10 14.52.17.551928","0","D","a4",b4,"5cad8cc8da342dfe37a40e84"
"2019-04-10 14.52.17.553750","0","I","a1",b1111,"5cac3850da342dfe37a40eee"
"2019-04-10 14.52.17.553820","0","B","a1",b1111,"5cac3850da342dfe37a40eee"
"2019-04-10 14.52.17.553820","0","A","a1",b22,"5cac3850da342dfe37a40eee"

Note:

第一条为删除操作，删除记录{“_id”: {“$oid”: “5cad8cc8da342dfe37a40e84”}, “a”: “a4”, “b”: “b4”}

第二条为插入操作，插入记录{“a”: “a1”, “b”: “b1111”}

第三、四条为更新操作，更新前记录为：{“_id”: {“$oid”: “5cac3850da342dfe37a40eee”}, “a”: “a1”, “b”: “b1111”}，更新后操作为：{“_id”: {“$oid”: “5cac3850da342dfe37a40eee”}, “a”: “a1”, “b”: “b22”}

使用示例

1. 重放日志文件，输出目标为 SequoiaDB（sdbserver1:11810）

   $./sdbreplay --hostname sdbserver1 --svcname 11810 --path /data/archivelog/archivelog.1

2. 重放日志目录并且只重放某个集合的插入操作，输出目标为 SequoiaDB（sdbserver1:11810）

   $./sdbreplay --hostname sdbserver1 --svcname 11810 --path /data/archivelog --filter '{ "CL": [ "foo.bar" ], "OP": ["insert"] }'

3. 在后台持续监控归档目录并重放归档日志文件，同时记录状态，输出目标为 SequoiaDB（sdbserver1:11810）

   $./sdbreplay --hostname sdbserver1 --svcname 11810 --path /data/archivelog --watch true --daemon true --status 1.status

4. 根据配置文件重放归档目录下的文件

   $./sdbreplay --type archive --path /data/20000/archivelog/ --filter '{ "CL": [ "foo.bar" ], "OP": ["insert", "update", "delete"], "MinLSN":468 }' --outputconf ./replay/output.conf  --status ./replay/1.status --daemon true --watch true --intervalnum 10000

错误

在重放过程中重放工具可能会异常退出，错误信息记录在日志文件sdbreplay.log中，可参考错误码。

常见错误有：