5. 清空 OSD 的分区表后如何恢复

本篇内容来自 zphj1987 —— 不小心清空了 Ceph 的 OSD 的分区表如何恢复

假设不小心对 Ceph OSD 执行了 ceph-deploy disk zap 这个操作，那么该 OSD 对应磁盘的分区表就丢失了。本文讲述了在这种情况下如何进行恢复。

破坏环境

我们现在有一个正常的集群，假设用的是默认的分区的方式，我们先来看看默认的分区方式是怎样的。

1、查看默认的分区方式。

  1. root@mon:~# ceph-disk  list
  2. ···
  3. /dev/sdb :
  4.   /dev/sdb1 ceph data, active, cluster ceph, osd.0, journal /dev/sdb2
  5.   /dev/sdb2 ceph journal, for /dev/sdb1
  6. ···

2、查看分区情况

  1. root@mon:~# parted -s /dev/sdb print
  2. Model: SEAGATE ST3300657SS (scsi)
  3. Disk /dev/sdb: 300GB
  4. Sector size (logical/physical): 512B/512B
  5. Partition Table: gpt
  6. Disk Flags: 
  8. Number  Start   End     Size    File system  Name          Flags
  9.   2      1049kB  1074MB  1073MB               ceph journal
  10.   1      1075MB  300GB   299GB   xfs          ceph data

3、破坏 /dev/sdb 的分区表，该磁盘对应的是 osd.0 。

  1. root@mon:~/ceph# ceph-deploy disk zap mon:/dev/sdb
  2. [ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf
  3. [ceph_deploy.cli][INFO  ] Invoked (1.5.34): /usr/bin/ceph-deploy disk zap mon:/dev/sdb
  4. ···
  5. [mon][DEBUG ] Warning: The kernel is still using the old partition table.
  6. [mon][DEBUG ] The new table will be used at the next reboot.
  7. [mon][DEBUG ] GPT data structures destroyed! You may now partition the disk using fdisk or
  8. [mon][DEBUG ] other utilities.
  9. ···

即使这个 osd 在被使用，还是被破坏了，这里假设上面的就是一个误操作，我们看下带来了哪些变化：

  1. root@mon:~/ceph# ll /var/lib/ceph/osd/ceph-0/journal
  2. lrwxrwxrwx 1 root root 58 Sep 24 00:02 /var/lib/ceph/osd/ceph-0/journal -> /dev/disk/by-partuuid/bd81471d-13ff-44ce-8a33-92a8df9e8eee

如果你用命令行看，就可以看到上面的链接已经变红了，分区没有了：

  1. root@mon:~/ceph# ceph-disk  list 
  2. /dev/sdb :
  3.  /dev/sdb1 other, xfs, mounted on /var/lib/ceph/osd/ceph-0
  4.  /dev/sdb2 other

已经跟上面有变化了，没有 ceph 的相关分区信息了：

  1. root@mon:~/ceph# parted -s /dev/sdb print
  2. Model: SEAGATE ST3300657SS (scsi)
  3. Disk /dev/sdb: 300GB
  4. Sector size (logical/physical): 512B/512B
  5. Partition Table: gpt
  6. Disk Flags: 
  8. Number  Start  End  Size  File system  Name  Flags

分区表完全没有信息了，到这我们可以确定分区表完全没了，如果现在重启将会发生什么？重启以后这个磁盘就是一个裸盘，没有分区的裸盘，所以此时千万不能重启！

恢复环境

首先一个办法就是当这个 OSD 坏了，然后直接按照删除节点，添加节点的方法去处理，这个应该是最主流、最通用的处理办法，但是这个方法在生产环境当中引发的数据迁移还是非常大的。我们尝试做恢复，这就是本篇主要讲的东西。

1、首先设置 noout 标志。

  1. root@mon:~/ceph# ceph osd set noout

2、停止 OSD 。

  1. root@mon:~/ceph# stop ceph-osd id=0

现在的 OSD 还是有进程的，所以需要停止掉再做处理。

3、查看其他 OSD 的分区信息（这里要求磁盘一致）。

  1. root@mon:~/ceph# parted -s /dev/sdc unit s print
  2. Model: SEAGATE ST3300657SS (scsi)
  3. Disk /dev/sdc: 585937500s
  4. Sector size (logical/physical): 512B/512B
  5. Partition Table: gpt
  6. Disk Flags: 
  8. Number  Start     End         Size        File system  Name          Flags
  9.  2      2048s     2097152s    2095105s                 ceph journal
  10.  1      2099200s  585937466s  583838267s  xfs          ceph data

记住上面的数值， print 的时候是加了 unit s 这个是要精确的值的，下面的步骤会用到的这些数值。

4、进行分区表的恢复。

  1. root@mon:~/ceph# parted -s /dev/sdb mkpart ceph_data 2099200s 585937466s
  2. root@mon:~/ceph# parted -s /dev/sdb mkpart ceph_journal 2048s 2097152s

5、再次检查 /dev/sdb 的分区表。

  1. root@mon:~/ceph# parted -s /dev/sdb print
  2. Model: SEAGATE ST3300657SS (scsi)
  3. Disk /dev/sdb: 300GB
  4. Sector size (logical/physical): 512B/512B
  5. Partition Table: gpt
  6. Disk Flags: 
  8. Number  Start   End     Size    File system  Name          Flags
  9.  2      1049kB  1074MB  1073MB               ceph_journal
  10.  1      1075MB  300GB   299GB   xfs          ceph_data

可以看到，分区表已经回来了。

6、重新挂载分区。

  1. root@mon:~/ceph# umount /var/lib/ceph/osd/ceph-0
  2. root@mon:~/ceph# partprobe
  3. root@mon:~/ceph# mount /dev/sdb1 /var/lib/ceph/osd/ceph-0

7、删除旧的 journal ，重建 osd.0 的 journal。 

  1. root@mon:~/ceph# rm -rf /var/lib/ceph/osd/ceph-0/journal
  3. root@mon:~/ceph# ceph-osd -i 0 --osd-journal=/dev/sdb2 --mkjournal
  4. SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 01 cf 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
  5. 2016-09-24 00:36:06.595992 7f9d0afbc880 -1 created new journal /dev/sdb2 for object store /var/lib/ceph/osd/ceph-0
  6. root@mon:~/ceph# ln -s /dev/sdb2 /var/lib/ceph/osd/ceph-0/journal
  7. root@mon:~/ceph# ll /var/lib/ceph/osd/ceph-0/journal
  8. lrwxrwxrwx 1 root root 9 Sep 24 00:37 journal -> /dev/sdb2

注意上面的操作 --osd-journal=/dev/sdb2 这个地方，此处写成 /dev/sdb2 是便于识别，这个地方在实际操作中要写上 /dev/sdb2 的 uuid 的路径。

  1. root@mon:~/ceph# ll /dev/disk/by-partuuid/03fc6039-ad80-4b8d-86ec-aeee14fb3bb6 
  2. lrwxrwxrwx 1 root root 10 Sep 24 00:33 /dev/disk/by-partuuid/03fc6039-ad80-4b8d-86ec-aeee14fb3bb6 -> ../../sdb2

也就是这个链接的一串内容，这是为了防止盘符串了的情况下无法找到 journal 的问题。

8、启动 OSD 。

  1. root@mon:~/ceph# start ceph-osd id=0

检查下，到这 osd.0 就成功地恢复了。