Tera中的数据删除实现 删除标记类型 语义 行删除 列族删除 列删除（所有版本） 列删除（指定版本） 原理 实现 Tera中的数据删除实现 tera中数据删除分为两种： kv存储中，采用leveldb标记删除方法。 表格存储中，采用多种删除标记方法实现。 删除标记类型 src / leveldb / include / l...

读取 读取 leveldb读取分为三步： 在memory db中查找指定的key，若搜索到符合条件的数据项，结束查找； 在冻结的memorydb中查找指定的key，若搜索到符合条件的数据项，结束查找； 按低层至高层的顺序在leveli层的sstable文件中查找指定的key，若搜索到符合条件的数据项，结束查找，否则返回NotFound...

filter block结构 filter block结构 讲完了data block，在这一章节将展开讲述filter block的结构。 为了加快sstable中数据查询的效率，在直接查询datablock中的内容之前，leveldb首先根据filterblock中的过滤数据判断指定的datablock中是否有需要查询的数据，若判断不存在，则无...

日志 日志 为了防止写入内存的数据库因为进程异常、系统掉电等情况发生丢失，leveldb在写内存之前会将本次写操作的内容写入日志文件中。 在leveldb中，有两个memory db，以及对应的两份日志文件。其中一个memorydb是可读写的，当这个db的数据量超过预定的上限时，便会转换成一个不可读的memorydb，与此同时，与之对应的日志文...

快照 - Snapshots 快照 - Snapshots 快照在键值存储的整体状态上提供了一致的只读视图。ReadOptions::snapshot 可能是non-NULL ，表示读取操作在特定的DB 版本状态上进行的。如果ReadOptions::snapshot 是NULL ，则读取操作将在当前状态上进行隐式的快照操作。 快照是通过DB::G...

Compaction过程 Minor Compaction Major Compaction 过程 Compaction过程 由上述所示，compaction分为两类： minor compaction major compaction 这两类compaction负责在不同的场景下进行不同的数据整理。 Minor Compactio...

Extracting Features Select data to run on Define the Feature Extraction Network Architecture Extract Features Clean Up Extracting Features In this tutorial, we will extract...

多版本并发控制 多版本并发控制 leveldb中采用了MVCC来避免读写冲突。 试想一下，当某个迭代器正在迭代某个sstable文件的内容，而后台的majorcompaction进程完成了合并动作，试图删除该sstable文件。那么假设没有任何控制并发的机制，就会导致迭代器读到的内容发生了丢失。 最简单的处理方式就是加锁，当发生读的时候，后台所有...

data block结构 data block结构 data block中存储的数据是leveldb中的keyvalue键值对。其中一个datablock中的数据部分（不包括压缩类型、CRC校验码）按逻辑又以下图进行划分： 第一部分用来存储keyvalue数据。由于sstable中所有的keyvalue对都是严格按序存储的，用了节省存储空间，l...

KeyValueStore （键值存储）配置参考 Queue Thread Misc KeyValueStore （键值存储）配置参考 KeyValueStore is an alternative OSD backend compared to FileStore.Currently, it uses LevelDB as backend. ...