Doris 线上运行过程中,因为各种原因,可能出现各种各样的 bug。例如:副本不一致,数据存在版本 diff 等。

这时候需要将线上的 tablet 的副本数据拷贝到本地环境进行复现,然后进行问题定位。

1. 获取有问题的 Tablet 的信息

可以通过 BE 日志确认 tablet id,然后通过以下命令获取信息(假设 tablet id 为 10020)。

获取 tablet 所在的 DbId/TableId/PartitionId 等信息。

  1. mysql> show tablet 10020\G
  2. *************************** 1. row ***************************
  3. DbName: default_cluster:db1
  4. TableName: tbl1
  5. PartitionName: tbl1
  6. IndexName: tbl1
  7. DbId: 10004
  8. TableId: 10016
  9. PartitionId: 10015
  10. IndexId: 10017
  11. IsSync: true
  12. Order: 1
  13. DetailCmd: SHOW PROC '/dbs/10004/10016/partitions/10015/10017/10020';

执行上一步中的 DetailCmd 获取 BackendId/SchemaHash 等信息。

  1. mysql> SHOW PROC '/dbs/10004/10016/partitions/10015/10017/10020'\G
  2. *************************** 1. row ***************************
  3. ReplicaId: 10021
  4. BackendId: 10003
  5. Version: 3
  6. LstSuccessVersion: 3
  7. LstFailedVersion: -1
  8. LstFailedTime: NULL
  9. SchemaHash: 785778507
  10. LocalDataSize: 780
  11. RemoteDataSize: 0
  12. RowCount: 2
  13. State: NORMAL
  14. IsBad: false
  15. VersionCount: 3
  16. PathHash: 7390150550643804973
  17. MetaUrl: http://192.168.10.1:8040/api/meta/header/10020
  18. CompactionStatus: http://192.168.10.1:8040/api/compaction/show?tablet_id=10020

创建 tablet 快照并获取建表语句

  1. mysql> admin copy tablet 10020 properties("backend_id" = "10003", "version" = "2")\G
  2. *************************** 1. row ***************************
  3. TabletId: 10020
  4. BackendId: 10003
  5. Ip: 192.168.10.1
  6. Path: /path/to/be/storage/snapshot/20220830101353.2.3600
  7. ExpirationMinutes: 60
  8. CreateTableStmt: CREATE TABLE `tbl1` (
  9. `k1` int(11) NULL,
  10. `k2` int(11) NULL
  11. ) ENGINE=OLAP
  12. DUPLICATE KEY(`k1`, `k2`)
  13. DISTRIBUTED BY HASH(k1) BUCKETS 1
  14. PROPERTIES (
  15. "replication_num" = "1",
  16. "version_info" = "2"
  17. );

admin copy tablet 命令可以为指定的 tablet 生成对应副本和版本的快照文件。快照文件存储在 Ip 字段所示节点的 Path 目录下。

该目下会有一个 tablet id 命名的目录,将这个目录整体打包后备用。(注意,该目录最多保留 60 分钟,之后会自动删除)。

  1. cd /path/to/be/storage/snapshot/20220830101353.2.3600
  2. tar czf 10020.tar.gz 10020/

该命令还会同时生成这个 tablet 对应的建表语句。注意,这个建表语句并不是原始的建表语句,他的分桶数和副本数都是 1,并且指定了 versionInfo 字段。该建表语句是用于之后在本地加载 tablet 时使用的。

至此,我们已经获取到所有必要的信息,清单如下:

  1. 打包好的 tablet 数据,如 10020.tar.gz。

  2. 建表语句。

2. 本地加载 Tablet

  1. 搭建本地调试环境

    在本地部署一个单节点的 Doris 集群(1FE、1BE),部署版本和线上集群保持一致。如线上部署的版本是 DORIS-1.1.1, 本地环境也同样部署 DORIS-1.1.1 的版本。

  2. 建表

    使用上一步中得到的建表语句,在本地环境中创建一张表。

  3. 获取新建的表的 tablet 的信息

    因为新建表的分桶数和副本数都为 1,所以只会有一个一副本的 tablet:

    1. mysql> show tablets from tbl1\G
    2. *************************** 1. row ***************************
    3. TabletId: 10017
    4. ReplicaId: 10018
    5. BackendId: 10003
    6. SchemaHash: 44622287
    7. Version: 1
    8. LstSuccessVersion: 1
    9. LstFailedVersion: -1
    10. LstFailedTime: NULL
    11. LocalDataSize: 0
    12. RemoteDataSize: 0
    13. RowCount: 0
    14. State: NORMAL
    15. LstConsistencyCheckTime: NULL
    16. CheckVersion: -1
    17. VersionCount: -1
    18. PathHash: 7390150550643804973
    19. MetaUrl: http://192.168.10.1:8040/api/meta/header/10017
    20. CompactionStatus: http://192.168.10.1:8040/api/compaction/show?tablet_id=10017
    1. mysql> show tablet 10017\G
    2. *************************** 1. row ***************************
    3. DbName: default_cluster:db1
    4. TableName: tbl1
    5. PartitionName: tbl1
    6. IndexName: tbl1
    7. DbId: 10004
    8. TableId: 10015
    9. PartitionId: 10014
    10. IndexId: 10016
    11. IsSync: true
    12. Order: 0
    13. DetailCmd: SHOW PROC '/dbs/10004/10015/partitions/10014/10016/10017';

    这里我们要记录如下信息:

    • TableId

    • PartitionId

    • TabletId

    • SchemaHash

    同时,我们还需要到调试环境 BE 节点的数据目录下,确认新的 tablet 所在的 shard id:

    1. cd /path/to/storage/data/*/10017 && pwd

    这个命令会进入 10017 这个 tablet 所在目录并展示路径。这里我们会看到类似如下的路径:

    1. /path/to/storage/data/0/10017

    其中 0 既是 shard id。

  4. 修改 Tablet 数据

    解压第一步中获取到的 tablet 数据包。编辑器打开其中的 10017.hdr.json 文件,并修改以下字段为上一步中获取到的信息:

    1. "table_id":10015
    2. "partition_id":10014
    3. "tablet_id":10017
    4. "schema_hash":44622287
    5. "shard_id":0
  5. 加载新 tablet

    首先,停止调试环境的 BE 进程(./bin/stop_be.sh)。然后将 10017.hdr.json 文件同级目录所在的所有 .dat 文件,拷贝到 /path/to/storage/data/0/10017/44622287 目录下。这个目录既是在第 3 步中,我们获取到的调试环境 tablet 所在目录。10017/44622287 分别是 tablet id 和 schema hash。

    通过 meta_tool 工具删除原来的 tablet meta。该工具位于 be/lib 目录下。

    1. ./lib/meta_tool --root_path=/path/to/storage --operation=delete_meta --tablet_id=10017 --schema_hash=44622287

    其中 /path/to/storage 为 BE 的数据根目录。如删除成功,会出现 delete successfully 日志。

    通过 meta_tool 工具加载新的 tablet meta。

    1. ./lib/meta_tool --root_path=/path/to/storage --operation=load_meta --json_meta_path=/path/to/10017.hdr.json

    如加载成功,会出现 load successfully 日志。

  6. 验证

    重新启动调试环境的 BE 进程 (./bin/start_be.sh)。对表进行查询,如果正确,则可以查询出加载的 tablet 的数据,或复现线上问题。