etmem内存分级扩展

介绍

随着CPU算力的发展，尤其是ARM核成本的降低，内存成本和内存容量成为约束业务成本和性能的核心痛点，因此如何节省内存成本，如何扩大内存容量成为存储迫切要解决的问题。

etmem内存分级扩展技术，通过DRAM+内存压缩/高性能存储新介质形成多级内存存储，对内存数据进行分级，将分级后的内存冷数据从内存介质迁移到高性能存储介质中，达到内存容量扩展的目的，从而实现内存成本下降。

软件架构

etmem客户端通过socket通信机制与服务端进行交互，下发创建/删除工程、启动/停止工程、查询工程的命令，服务端通过客户端下发的配置文件，读取project管理配置信息，以及engine配置信息，并执行客户端下发的操作。启动工程之后，服务端会对业务进程进行扫描，并根据扫描统计结果以及淘汰策略，对页面进行分级淘汰，实现节省内存的目标。

编译教程

1. 下载etmem源码

   # git clone https://gitee.com/src-openeuler/etmem.git

2. 编译和运行依赖

etmem的编译和运行依赖于libboundscheck组件。

1. 编译

   # cd etmem
   # mkdir build
   # cd build
   # cmake ..
   # make

   使用说明

启动etmemd进程

使用方法

通过运行etmemd二进制运行服务端进程，例如：

# etmemd -l 0 -s etmemd_socket

帮助信息

options：
-l|--log-level <log-level>  Log level
-s|--socket <sockect name>  Socket name to listen to
-h|--help  Show this message

命令行参数说明

etmem配置文件

在运行etmem进程之前，需要管理员预先规划哪些进程需要做内存扩展，将进程信息配置到etmem配置文件中，并配置内存扫描的周期、扫描次数、内存冷热阈值等信息。

配置文件的示例文件在源码包中，放置在源码根目录的conf/example_conf.yaml，建议在使用时放置在/etc/etmem/目录下，示例内容为：

options:    
    loop : 3
    interval : 1
    sleep: 2
    policies:
        type : pid/name
           value : 123456/mysql
        max_threads: 3
        engine : slide
            param:
                T: 3

配置文件各字段说明：

etmem工程创建、删除、查询

场景描述

1）管理员创建etmem工程（一个工程可包含多个etmem任务）

2）管理员查询已有的etmem工程

3）管理员删除已有的etmem工程（删除工程前，会自动先停止该工程中的所有任务）

使用方法

通过etmem二进制执行工程创建/删除/查询操作，前提是服务端已经成功运行，并且配置文件（e.g. /etc/etmem/example_conf.yaml）内容正确。

添加工程：

# etmem project add -n test -f /etc/etmem/example_conf.yaml -s etmemd_socket

删除工程：

# etmem project del -n test -s etmemd_socket

查询工程：

# etmem project show -s etmemd_socket

打印帮助：

# etmem project help

帮助信息

Usage:
 etmem project add [options]
 etmem project del [options]
 etmem project show
 etmem project help
 Options:
 -f|--file <conf_file> Add configuration file
 -n|--name <proj_name> Add project name
 -s|--sock <sock_name> Socket name to connect
 Notes:
 1. Project name and socket name must be given when execute add or del option.
 2. Configuration file must be given when execute add option.
 3. Socket name must be given when execute show option.

命令行参数说明

add命令：

del命令：

show命令：

etmem任务启动、停止

场景描述

在已经通过etmem project add添加工程之后，在还未调用etmem project del删除工程之前，可以对etmem的工程进行启动和停止。

1）管理员启动已添加的工程

2）管理员停止已启动的工程

在管理员调用project del删除工程时，如果工程已经启动，则会自动停止。

使用方法

通过etmem二进制执行任务启动/停止操作，前提是服务端已经成功运行，配置文件（e.g. /etc/etmem/example_conf.yaml）内容正确，且etmem工程已经创建。

启动工程

# etmem migrate start -n test -s etmemd_socket

停止工程

# etmem migrate stop -n test -s etmemd_socket

打印帮助

# etmem migrate help

帮助信息

Usage:
 etmem migrate start [options]
 etmem migrate stop [options]
 etmem migrate help
 Options:
 -n|--name <proj_name> Add project name
 -s|--sock <sock_name> Socket name to connect
 Notes:
 Project name and socket name must be given when execute start or stop option.

命令行参数说明