租户内存默认占到 OceanBase 数据库内存上限的 80%,OceanBase 数据库把租户内部的内存总体上分为两个部分:
不可动态伸缩的内存 MemStore
可动态伸缩的内存 KVCache
其中,不可动态伸缩的内存主要给保存数据库增量更新的 MemStore 使用,可动态伸缩的内存主要由 KVCache 进行管理。可动态伸缩的 KVCache 会尽量使用除去不可动态伸缩后租户的全部内存。
除此之外,还有很多内存组件,包括 Plan Cache(执行计划缓存)、SQL Arena(SQL 执行期内存)、选举动作等,都要占用一定量的内存。您可以通过查询 __all_virtual_memory_info
来获取所有内存组件的使用情况。
不可动态伸缩的内存管理
目前与不可动态伸缩内存相关的配置只有 memstore_limit_percentage
,它表示租户的 MemStore 部分最多占租户总内存上限的百分比,默认值为租户 MinMemory 的 50%。租户的写入或者更新会增加 MemStore 的内存使用,当租户的 MemStore 部分内存到达上限以后,后续的写入或者更新操作将会被拒绝。OceanBase 数据库会根据 MemStore 的内存使用比例决定何时进行转储或者合并释放 MemStore 的内存,该比例由配置项 freeze_trigger_percentage
控制,表示当 MemStore 内存占用到达其上限的百分比后就进行冻结(转储和合并的前置动作),默认值为租户 MemStore 内存上限的 70%,即租户 MinMemory 的 35%。
可动态伸缩的内存管理
可动态伸缩的内存主要部分是 KVCache。OceanBase 数据库将绝大多数的 KV 格式的缓存统一在了 KVCache 中进行管理,KVCache 支持动态伸缩、不同 KV 的优先级控制以及智能的淘汰机制。
KVCache 一般不需要配置,特殊场景下可以通过参数控制各种 KV 的优先级,优先级高的 KV 类比优先级低的 KV 类更容易被保留在 Cache 中。
用于控制KV优先级的参数如下表所示。参数值越大表示优先级越高。
参数 | 含义 | 默认值 |
---|---|---|
fuse_row_cache_priority | 融合行缓存在缓存系统中的优先级。 | 1 |
location_cache_priority | 位置缓存在系统缓存服务中的优先级。 | 1000 |
clog_cache_priority | 事务日志占用缓存的优先级。 | 1 |
index_clog_cache_priority | 事务日志索引在缓存系统中的优先级。 | 1 |
user_tab_col_stat_cache_priority | 统计数据缓存在缓存系统中的优先级。 | 1 |
index_cache_priority | 索引在缓存系统中的优先级。 | 10 |
index_info_block_cache_priority | 块索引在缓存系统中的优先级。 | 1 |
user_block_cache_priority | 数据块缓存在缓存系统中的优先级。 | 1 |
user_row_cache_priority | 基线数据行缓存在缓存系统中的优先级。 | 1 |
bf_cache_priority | Bloom Filter 的缓存优先级。 | 1 |
KVCache 中子 Cache 的信息可以通过查询 __all_virtual_kvcache_info
参数获得。其中 sys 和普通租户的重要组成部分略有不同:
sys 租户上的 Cache 种类如下:
类别
说明
schema_cache
存放用户的 Schema 信息,用于提供 SQL 及系统正常运行所依赖的数据库对象的元信息。
location_cache
存放分区的 location 信息,通过查询它可以知道一个 Partition 分布在哪些 OBServer 上。
block_index_cache
缓存微块的 Index,加速微块数据的访问。
user_block_cache
缓存微块数据,由于微块可能通过压缩算法进行压缩,为了提升查询性能,缓存的是解压后的微块数据。
fuse_row_cache
缓存行的快照点数据,用于提高点查询性能,并且可以避免因转储、合并导致的缓存失效问题。
index_clog_cache
缓存 ilog 文件的内容,用于减小读取 ilog 文件的开销
clog_index
缓存 ilog 文件的内容,用于减小读取 clog 文件的开销
user_tab_col_stat_cache
用户表列统计信息缓存,用于 sql 计算代价
user_table_stat_cache
用户表统计信息缓存,用于 sql 计算代价
opt_table_stat_cache
优化器对用户表统计信息缓存,用于 sql 计算代价
opt_column_stat_cache
优化器对用户表列统计信息缓存,用于 sql 计算代价
普通租户上的 Cache 种类如下:
类别
说明
user_block_cache
缓存微块数据,由于微块可能通过压缩算法进行压缩,为了提升查询性能,缓存的是解压后的微块数据。
block_index_cache
缓存微块的 Index,加速微块数据的访问。
fuse_row_cache
缓存行的快照点数据,用于提高点查询性能,并且可以避免因转储、合并导致的缓存失效问题。
opt_column_stat_cache
优化器对用户表列统计信息缓存,用于 sql 计算代价