DataStore集成测试

背景介绍

集成测试的方法有很多种，但是归纳起来主要有两种。一种是一次性将所有单元组装起来进行测试的“大棒”模式，一种是一层一层累加递增式的测试。DataStore层是chunkserver端底层的一个模块，其下面还有LocalFileSystem层；DataStore层的集成测试就是将DataStore和LocalFileSystem层组装起来然后进行测试，属于前面所述的第二种模式中自底向上的测试方法。

DataStore层作用

DataStore的作用是将上层对Chunk的操作转换到对本地文件的操作，并维护本地文件的数据和状态。

对DataStore层集成测试目的

• 保证DataStore层和LocalFileSystem层能正常协作
• 保证调用指定的接口能够返回预期的结果
• 保证文件的数据和状态始终保持正确
• 在测试过程中帮助思考和发现之前未考虑到的场景

用例设计

功能测试

对于DataStore来说，所谓的Given其实就是要操作的Chunk的状态，When就是用不同的参数组合来调用不同的接口；也就是说测试DataStore就是测试不同接口参数同文件状态的所有组合。

DataStore文件状态

可以用等价类划分法来将连续的参数取值范围划分为几组离散的条件，划分依据是将输入参数与当前chunk的状态信息进行对比（不同模块可以有不同的依据来进行划分，但本质其实是一样的）。

条件分析

WriteChunk

条件

如果单纯考虑上面所有条件项的排列组合，其组合数是很大的。实际上很多条件项之间是互斥、依赖或其他一些关系，并不是彼此独立的，这样就没法单纯的使用组合测试的方法，需要梳理条件之间的关系，但是这样一来组合数也会大大减少。

ReadChunk

条件项

ReadSnapshotChunk

条件项

DeleteChunk

条件项

DeleteSnapshotChunkOrCorrectSn

条件项

CreateCloneChunk

条件项

PasteChunk

条件项

GetChunkInfo

条件项

GetChunkInfo会获取Chunk的各项信息，因此需要在各种状态下调用GetChunkInfo，判断与预期结果是否相同。

单接口功能用例集

根据上面对各接口参数条件项的分析进行单接口功能用例集设计。

场景设计

普通使用

测试普通盘的使用场景，此时没有快照，没有克隆。

新生成的盘一开始没有chunk文件，只有第一次写会触发创建chunk文件。

场景一：新建的文件，Chunk文件不存在

• 操作：chunk文件不存在，请求ReadChunk 预期：返回ChunkNotExistError

• 操作：chunk文件不存在，请求GetChunkInfo 预期：返回ChunkNotExistError

• 操作：chunk文件不存在，请求DeleteChunk 预期：返回Success

场景二：通过WriteChunk产生chunk文件后操作

• 操作：chunk文件不存在，请求WriteChunk；sn=1,offset=0,length=4kb 预期：数据写入成功，产生Chunk文件

• 操作：chunk产生后，请求GetChunkInfo 预期：可以获取到chunk的信息，且信息都符合预期

• 操作：chunk产生后，请求ReadChunk；offset=0,length=4kb 预期：读取数据成功，读取出来的数据与写入的数据比较相等

• 操作：请求ReadChunk；offset=16mb-4kb,length=4kb 预期：读取数据成功，读出来的数据无需验证
• 操作：chunk文件存在，请求WriteChunk；sn=1,offset=0,length=4kb 预期：数据写入成功，产生Chunk文件
• 操作：chunk文件存在，请求ReadChunk；offset=0,length=12kb 预期：读取数据成功，已写入区域数据与写入的数据比较相等，为写过区域数据无需验证
• 操作：chunk文件存在，请求WriteChunk；sn=1,offset=4kb,length=4kb 预期：数据写入成功，产生Chunk文件
• 操作：chunk文件存在，请求ReadChunk；offset=0,length=12kb 预期：读取数据成功，0-4KB数据与第二次写入相等，4kb-8kb与上一次写入相等
• 操作：chunk文件存在，请求WriteChunk；sn=1,offset=4kb,length=8kb 预期：数据写入成功，产生Chunk文件
• 操作：chunk文件存在，请求ReadChunk；offset=0,length=12kb 预期：读取数据成功，0-4KB数据与第二次写入相等，4kb-12kb与上一次写入相等

场景三：用户删除文件

• 操作：chunk产生后，请求DeleteChunk 预期：返回Success，文件删除成功；请求GetChunkInfo返回ChunkNotExistError

快照

模拟用户创建快照的过程，假设当前文件初始版本为1，文件有两个chunk，分别为chunk1，chunk2.

构造初始环境

写chunk1产生chunk1，chunk1版本为1，chunk2开始不存在。

• 操作：请求WriteChunk写chunk1；sn=1，offset=0，length=12kb 预期：产生chunk文件，数据写入成功

场景一：第一次给文件打快照

• 操作：请求WriteChunk写chunk1；sn=2，offset=4kb，length=4kb 预期：数据写入成功，产生快照文件
• 操作：重复写入同一区域，用于验证不会重复cow 预期：ReadSnapshotChunk时读出来的数据等于初始构造写入的数据。
• 操作：请求ReadSnapshotChunk，读取chunk1的快照；sn=1，offset=0，length=12kb 预期：成功读取数据，且读到的数据和初始构造时写入的数据相等
• 操作：请求WriteChunk写chunk1；sn=2，offset=0kb，length=4kb 预期：数据写入成功，产生cow，chunk数据被覆盖
• 操作：请求WriteChunk写chunk1；sn=2，offset=4kb，length=12kb 预期：数据写入成功，未被写过区域产生cow，chunk数据被覆盖
• 操作：请求GetChunkInfo，获取的chunk1信息 预期：chunk版本为2，快照版本为1
• 操作：请求ReadChunk，读取chunk1的数据；sn=2，offset=0，length=12kb 预期：成功读取数据，读到的数据符合预期
• 操作：请求ReadSnapshotChunk，读取chunk1的快照；sn=1，offset=0，length=12kb 预期：成功读取数据，且读到的数据和初始构造时写入的数据相等
• 操作：请求ReadSnapshotChunk，读取chunk2的快照 预期：返回ChunkNotExistError

场景二：第一次快照结束，删除快照

• 操作：请求DeleteSnapshotChunkOrCorrectSn删chunk1快照；correctedSn=2 预期：快照文件删除成功，通过GetChunkInfo获取chunk1信息，文件版本为2，correctedSn为0，快照版本为0
• 操作：请求DeleteSnapshotChunkOrCorrectSn删chunk2快照，correctedSn为2 预期：接口调用返回成功
• 操作：请求WriteChunk写chunk2；sn=2，offset=0，length=8kb 预期：数据写入成功，通过GetChunkInfo获取chunk2信息，文件版本为2，correctedSn为0，快照版本为0

场景三：第二次打快照

• 操作：请求WriteChunk写chunk1；sn=3，offset=0，length=8kb 预期：数据写入成功，产生快照文件2，通过GetChunkInfo获取chunk1信息，文件版本为3，correctedSn为0，快照版本为2
• 操作：请求ReadSnapshotChunk，读取chunk1的快照；sn=2，offset=0，length=12kb 预期：成功读取数据，且读到的数据与版本3写入之前写入的数据相等
• 操作：请求ReadSnapshotChunk，读取chunk2的快照；sn=2，offset=0，length=8kb 预期：成功读取数据，且读到的数据与版本2的数据相同
• 操作：请求DeleteChunk，删除chunk1文件 预期：返回SnapshotExistError，本地快照存在的情况下不允许删除文件

场景四：第二次快照结束，删除快照

• 操作：请求DeleteSnapshotChunkOrCorrectSn删chunk1快照，correctedSn为3 预期：快照文件删除成功，通过GetChunkInfo获取chunk1信息，文件版本为3，correctedSn为0，快照版本为0
• 操作：请求DeleteSnapshotChunkOrCorrectSn删chunk2快照，correctedSn为3 预期：接口调用返回成功，通过GetChunkInfo获取chunk2信息，文件版本为2，correctedSn为3，快照版本为0
• 操作：请求WriteChunk写chunk2；sn=3，offset=0，length=4kb 预期：数据写入成功，通过GetChunkInfo获取chunk2信息，文件版本为3，correctedSn为3，快照版本为0
• 操作：请求WriteChunk写chunk2；sn=3，offset=0，length=4kb 预期：数据写入成功，通过GetChunkInfo获取chunk2信息，chunk信息不变

场景五：用户删除文件

• 操作：请求DeleteChunk删除chunk1和chunk2 预期：返回Success，文件删除成功，请求GetChunkInfo返回ChunkNotExistError

克隆

模拟克隆过程

场景一：创建克隆文件

• 操作：通过CreateCloneChunk创建chunk1；sn=1，correctedsn=0，size=chunksize， 预期：创建克隆文件成功，通过GetChunkInfo获取chunk信息，isClone标志为true，bitmap不为空，初始所有bit状态都为0
• 操作：再次通过CreateCloneChunk创建clone文件 预期：返回成功，通过GetChunkInfo获取chunk信息，信息同上
• 操作：通过CreateCloneChunk创建chunk2；sn=1，correctedsn=0，size=chunksize， 预期：创建克隆文件成功，通过GetChunkInfo获取chunk信息，isClone标志为true，bitmap不为空，初始所有bit状态都为0

场景二：恢复克隆文件

• 操作：通过WriteChunk写数据到clone文件；sn=1，offset=0，length=8kb 预期：数据写入成功，通过GetChunkInfo获取chunk信息，bitmap中被写过的page对应的bit状态为1，其余状态为0
• 操作：通过ReadChunk读取数据；offset=0，length=8kb 预期：等于前面写入的数据
• 操作：通过PasteChunk写新数据到clone文件；sn=1，offset=0，length=8kb 预期：返回成功，实际数据未写入
• 操作：通过ReadChunk读取数据；offset=0，length=8kb 预期：等于第一次写入数据
• 操作：通过WriteChunk写数据到clone文件；sn=1，offset=4kb，length=8kb 预期：数据写入成功，通过GetChunkInfo获取chunk信息，bitmap中被写过的page对应的bit状态为1，其余状态为0
• 操作：通过ReadChunk读取数据；offset=0，length=12kb 预期：0-4KB等于第二次写入的数据，4kb-12kb等于前面写入的数据
• 操作：通过PasteChunk写数据到clone文件，写入区域有部分与WriteChunk写入区域重叠，部分不重叠；offset=4kb，length=8kb 预期：数据paste成功，通过GetChunkInfo获取chunk信息，bitmap中被写过的page对应的bit状态为1，其余状态为0
• 操作：通过ReadChunk读取前面WriteChunk和PasteChunk写入的区域；offset=0，length=12kb 预期：重叠部分的数据等于WriteChunk写入的区域，不重叠的区域等于WriteChunk和PasteChunk各自写入的数据

场景三：clone文件遍写后转换为普通chunk文件

• 操作：通过PasteChunk遍写clone文件的所有pages 预期：数据写入成功，通过GetChunkInfo获取chunk信息，isClone标志为false，bitmap为空

场景四：删除文件

• 操作：通过DeleteChunk删除chunk1 预期：删除成功

• 操作：通过DeleteChunk删除chunk2 预期：删除成功

恢复

模拟恢复过程，恢复原理基本和克隆是一样的，区别在于克隆的初始sn为1，correctedsn为0；

恢复的话correctedsn可以不为0且correctedsn>sn。

场景一：创建克隆文件

• 操作：通过CreateCloneChunk创建chunk1；sn=2，correctedsn=3，size=chunksize， 预期：创建克隆文件成功，通过GetChunkInfo获取chunk信息，isClone标志为true，bitmap不为空，初始所有bit状态都为0
• 操作：再次通过CreateCloneChunk创建clone文件 预期：返回成功，通过GetChunkInfo获取chunk信息，信息同上

场景二：恢复克隆文件

• 操作：通过PasteChunk写数据到clone文件；sn=3，offset=0，length=8kb 预期：数据写入成功，通过GetChunkInfo获取chunk信息，bitmap中被写过的page对应的bit状态为1，其余状态为0
• 操作：通过ReadChunk读取数据；offset=0，length=8kb 预期：等于前面写入的数据
• 操作：通过WriteChunk写数据到clone文件；sn=3，offset=0，length=8kb 预期：返回成功，覆盖前面写入数据。
• 操作：通过ReadChunk读取数据；offset=0，length=8kb 预期：等于前面写入数据
• 操作：通过PasteChunk写数据到clone文件；sn=3，offset=4kb，length=8kb 预期：数据写入成功，通过GetChunkInfo获取chunk信息，bitmap中被写过的page对应的bit状态为1，其余状态为0
• 操作：通过ReadChunk读取数据；offset=0，length=12kb 预期：0-8KB等于第二次写入的数据，8kb-12kb等于前面写入的数据

场景三：clone文件遍写后转换为普通chunk文件

• 操作：通过WriteChunk遍写clone文件的所有pages 预期：数据写入成功，通过GetChunkInfo获取chunk信息，isClone标志为false，bitmap为空

重启恢复

copyset在重启的时候会恢复raft 日志中的操作，这些操作重启前可能已经执行了，也可能还没执行；日志中记录的操作主要是更改操作（可能存在读操作，但是读操作日志恢复的时候可以不用考虑）：

包括WriteChunk、PasteChunk、CreateCloneChunk、DeleteChunk、DeleteSnapshotChunk。

日志恢复必须保证操作的幂等性，对于同一个Chunk来说，日志中的操作是顺序执行的，如果有操作未执行过，其后面的操作也一定未执行过，因此只要保证已经执行过的操作恢复后是幂等的，那么未执行过的操作恢复就一定是幂等的。

这里的幂等并不是指某一操作已经执行过就不会再执行了，而是指在日志全部恢复完以后，所有chunk的状态与重启前仍然一致。

因此这里要分析每一种操作的处理方式在恢复场景下是否能保证幂等性。

这里分析首先考虑排除几种场景，减少分析复杂度：

1.重启前chunk被delete了，这种情况下中间无论怎么操作，最终都能被delete（只有快照存在情况下不会被delete，所以delete之前chunk一定不存在快照）；我们下面的分析都认为chunk在重启前没有被delete。

2.前面提到过只要执行过的操作再次恢复可以保证幂等性，未执行过的操作恢复一定是幂等的；所以我们考虑的操作重启前都已经执行过。

3.这里只考虑正常重启的情况，异常重启的情况在异常测试中考虑；也就是说操作都是完整执行的，不会执行到一半重启。

4.基于上面三点，可以过滤掉一些之前一定没执行过的条件：①请求写入的区域未写过或部分未写过；②快照中数据未被cow过或部分被cow过。③sn>chunkinfo.sn

5.此外还能过滤掉一些条件，例如参数不符合要求，无论是否恢复都会被拒绝的操作。

依据上面过滤条件，我们对上面表格中的测试用例进行筛选。

主要要分析的列出的这些用例在恢复场景下是如何产生的，以及是否如用例中所示产生预期的结果，并且这种处理方式不会对幂等性造成影响。

在做恢复测试时，要想保证所有场景都是正确的，可能需要对每一组用例都单独测试，而且每一组用例还需要测从不同步骤开始恢复的情况。

举个例子，假如在重启前，用户执行了1、2、3三个操作使chunk处于某个用例的given状态。但是步骤1可能已经做了checkpoint被删掉了，也可能1、2都被删掉了。

那么实际测试的话需要在同样状态下测恢复1-2-3、2-3、3三种序列的情况。有的用例状态可能需要n步操作产生，那么就有n种恢复序列。然后有这么多组用例，需要比较巧妙的方式来实现测试代码。

构造重启前的数据

为了能验证所有接口，这里需要模拟普通文件、快照文件、克隆文件的一般使用。

普通读写重启恢复：

1.WriteChunk，产生chunk1；写入[0,8kb];

2.WriteChunk写chunk1，写入[4kb,12kb];

3.DeleteChunk，删除chunk1

模拟文件快照操作：

快照场景：

1.WriteChunk，产生chunk1；写入[0,8k];版本为1.

2.WriteChunk，写[4kb, 12kb],版本为2

3.DeleteSnapshotOrCorrectSn，correctedSn为2

4.再次DeleteSnapshotOrCorrectSn，correctedSn为3

5.WriteChunk，写[8kb, 16kb]，版本为3

6.WriteChunk，写[4kb, 12kb]，版本为4

7.DeleteSnapshotOrCorrectSn，correctedSn为4

8.再次DeleteSnapshotOrCorrectSn，correctedSn为5

9.DeleteChunk，删除chunk1

克隆场景：

1.CreateCloneChunk，产生chunk，sn=1，correctedSn=0

2.WriteChunk，写[0, 8kb]，版本为1

3.PasteChunk,写[4kb, 12kb]

4.通过PasteChunk遍写一遍chunk

5.WriteChunk，写[4kb, 12kb]，版本为2

6.DeleteSnapshotOrCorrectSn，correctedSn为2

7.DeleteChunk

恢复场景：

1.CreateCloneChunk，产生chunk，sn=3，correctedSn=5

2.PasteChunk，写[0, 8kb]

3.WriteChunk,写[4kb, 12kb]，版本为5

4.通过WriteChunk遍写一遍chunk

5.DeleteChunk

针对上面场景，测试以任意步骤作为重启前的最后执行步骤，然后检验从该步骤之前的任意步骤开始恢复是否能够满足幂等性。

异常测试

规模测试

并发测试