Caliper压力测试指南

一、环境要求

1.1 硬件

  • 需要外网权限

1.2 操作系统

  • 版本要求：Ubuntu >= 16.04, CentOS >= 7, MacOS >= 10.14

1.3 基础软件

  • python 2.7，make，g++，gcc，git

1.4 NodeJS

  • 版本要求：

    NodeJS 8 (LTS), 9, 或 10 (LTS)，Caliper尚未在更高的NodeJS版本中进行过验证。

  • 安装指南：

    建议使用nvm(Node Version Manager)安装，nvm的安装方式如下：

    1. # 安装nvm
    2. curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.2/install.sh | bash
    3. # 加载nvm配置
    4. source ~/.$(basename $SHELL)rc
    5. # 安装Node.js 8
    6. nvm install 8
    7. # 使用Node.js 8
    8. nvm use 8

1.5 Docker

  • 版本要求：>= 18.06.01

  • 安装指南：

    CentOS：

    1. # 添加源
    2. sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    3. # 更新缓存
    4. sudo yum makecache fast
    5. # 安装社区版Docker
    6. sudo yum -y install docker-ce
    7. # 将当前用户加入docker用户组（重要）
    8. sudo groupadd docker
    9. sudo gpasswd -a ${USER} docker
    10. # 重启Docker服务
    11. sudo service docker restart
    12. newgrp - docker
    13. # 验证Docker是否已经启动
    14. sudo systemctl status docker

    Ubuntu

    1. # 更新包索引
    2. sudo apt-get update
    3. # 安装基础依赖库
    4. sudo apt-get install \
    5.     apt-transport-https \
    6.     ca-certificates \
    7.     curl \
    8.     gnupg-agent \
    9.     software-properties-common
    10. # 添加Docker官方GPG key
    11. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
    12. # 添加docker仓库
    13. sudo add-apt-repository \
    14. "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
    15. $(lsb_release -cs) \
    16. stable"
    17. # 更新包索引
    18. sudo apt-get update
    19. # 安装Docker
    20. sudo apt-get install docker-ce docker-ce-cli containerd.io

    MacOs下

    请安装Docker Desktop。

  • 加入Docker用户组

    CentOS

    1. sudo groupadd docker
    2. sudo gpasswd -a ${USER} docker
    3.  
    4. # 重启Docker服务
    5. sudo service docker restart
    6. # 验证Docker是否已经启动
    7. sudo systemctl status docker

    Ubuntu

    1. sudo groupadd docker
    2. sudo usermod -aG docker $USER

1.6 Docker Compose

  • 版本要求：>= 1.22.0

  • 安装指南：

    1. sudo curl -L "https://github.com/docker/compose/releases/download/1.24.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
    2. sudo chmod +x /usr/local/bin/docker-compose

二、Caliper部署

2.1 部署

Caliper提供了方便易用的命令行界面工具caliper-cli，推荐在本地进行局部安装：

  1. 建立一个工作目录
  1. mkdir benchmarks && cd benchmarks
  1. 对NPM项目进行初始化
  1. npm init

这一步主要是为在工作目录下创建package.json文件以方便后续依赖项的安装，如果不需要填写项目信息的话可以直接执行npm init -y。

  1. 安装caliper-cli
  1. npm install --only=prod @hyperledger/caliper-cli

由于Caliper所有依赖项的安装较为耗时，因此使用--only=prod选项用于指定NPM只安装Caliper的核心组件，而不安装其他的依赖项（如各个区块链平台针对Caliper的适配器）。在部署完成后，可以通过caliper-cli显式绑定需要测试的区块链平台及相应的适配器。

  1. 验证caliper-cli安装成功
  1. npx caliper --version

若安装成功，则会打印相应的版本信息，如：

  1. user@ubuntu:~/benchmarks$ npx caliper --version
  2. v0.2.0

2.2 绑定

由于Caliper采用了轻量级的部署方式，因此需要显式的绑定步骤指定要测试的平台及适配器版本，caliper-cli会自动进行相应依赖项的安装。使用npx caliper bind命令进行绑定，命令所需的各项参数可以通过如下命令查看：

  1. user@ubuntu:~/benchmarks$ npx caliper bind --help
  2. Usage:
  3.   caliper bind --caliper-bind-sut fabric --caliper-bind-sdk 1.4.1 --caliper-bind-cwd ./ --caliper-bind-args="-g"
  4.  
  5. Options:
  6.   --help               Show help  [boolean]
  7.   -v, --version        Show version number  [boolean]
  8.   --caliper-bind-sut   The name of the platform to bind to  [string]
  9.   --caliper-bind-sdk   Version of the platform SDK to bind to  [string]
  10.   --caliper-bind-cwd   The working directory for performing the SDK install  [string]
  11.   --caliper-bind-args  Additional arguments to pass to "npm install". Use the "=" notation when setting this parameter  [string]

其中，

–caliper-bind-sut ：用于指定需要测试的区块链平台，即受测系统（***S***ystem ***u***nder ***T***est）；
–caliper-bind-sdk：用于指定适配器版本； –caliper-bind-cwd：用于绑定caliper-cli的工作目录，caliper-cli在加载配置文件等场合时均是使用相对于工作目录的相对路径； caliper-bind-args：用于指定caliper-cli在安装依赖项时传递给npm的参数，如用于全局安装的-g。

对于FISCO BCOS，可以采用如下方式进行绑定：

  1. npx caliper bind --caliper-bind-sut fisco-bcos --caliper-bind-sdk latest

命令中各项参数的含义可以通过如下命令获取：

2.3 快速体验FISCO BCOS基准测试

为方便测试人员快速上手，FISCO BCOS已经为Caliper提供了一组预定义的测试样例，测试对象涵盖HelloWorld合约、Solidity版转账合约及预编译版转账合约。同时在测试样例中，Caliper测试脚本会使用docker在本地自动部署及运行4个互连的节点组成的链，因此测试人员无需手工搭链及编写测试用例便可直接运行这些测试样例。

  1. 在工作目录下下载预定义测试用例：
  1. git clone https://github.com/hyperledger/caliper-benchmarks.git
  1. 执行HelloWorld合约测试
  1. npx caliper benchmark run --caliper-workspace caliper-benchmarks --caliper-benchconfig benchmarks/samples/fisco-bcos/helloworld/config.yaml  --caliper-networkconfig networks/fisco-bcos/4nodes1group/fisco-bcos.json
  1. 执行Solidity版转账合约测试
  1. npx caliper benchmark run --caliper-workspace caliper-benchmarks --caliper-benchconfig benchmarks/samples/fisco-bcos/transfer/solidity/config.yaml  --caliper-networkconfig networks/fisco-bcos/4nodes1group/fisco-bcos.json
  1. 执行预编译版转账合约测试
  1. npx caliper benchmark run --caliper-workspace caliper-benchmarks --caliper-benchconfig benchmarks/samples/fisco-bcos/transfer/precompiled/config.yaml  --caliper-networkconfig networks/fisco-bcos/4nodes1group/fisco-bcos.json

测试完成后，会在命令行界面中展示测试结果（TPS、延迟等）及资源消耗情况，同时会在caliper-benchmarks目录下生成一份包含上述内容的可视化HTML报告。

caliper benchmark run所需的各项参数可以通过如下命令查看：

  1. user@ubuntu:~/benchmarks$ npx caliper benchmark run --help
  2. caliper benchmark run --caliper-workspace ~/myCaliperProject --caliper-benchconfig my-app-test-config.yaml --caliper-networkconfig my-sut-config.yaml
  3.  
  4. Options:
  5.   --help                   Show help  [boolean]
  6.   -v, --version            Show version number  [boolean]
  7.   --caliper-benchconfig    Path to the benchmark workload file that describes the test client(s), test rounds and monitor.  [string]
  8.   --caliper-networkconfig  Path to the blockchain configuration file that contains information required to interact with the SUT  [string]
  9.   --caliper-workspace      Workspace directory that contains all configuration information  [string]

其中，

–caliper-workspace：用于指定caliper-cli的工作目录，如果没有绑定工作目录，可以通过该选项动态指定工作目录；
–caliper-benchconfig：用于指定测试配置文件，测试配置文件中包含测试的具体参数，如交易的发送方式、发送速率控制器类型、性能监视器类型等；
–caliper-networkconfig：用于指定网络配置文件，网络配置文件中会指定Caliper与受测系统的连接方式及要部署测试的合约等。

三、自定义测试用例

本节将会以测试HelloWorld合约为例，介绍如何使用Caliper测试自定义的测试用例。

Caliper前后端分离的设计原则使得只要后端的区块链系统开放了相关网络端口，Caliper便可以对该系统进行测试。结合Docker提供的性能数据统计服务或本地的ps命令工具，Caliper能够在测试的同时收集节点所在机器上的各种性能数据，包括CPU、内存、网络及磁盘的使用等。尽管Caliper能工作在不使用Docker模式而是使用原生二进制ficos-bcos可执行程序搭建出的链上，但是那样Caliper将无法获知节点所在机器上的资源消耗。因此，在目前的Caliper版本下（v0.2.0），我们推荐使用Docker模式搭链。

3.1、配置Docker Daemon及部署FISCO BCOS网络

如果只想基于已经搭建好的链进行测试，可以跳过本小节。

3.1.1 配置Docker Daemon

为方便Caliper统一管理节点容器及监控性能数据，在运行节点的服务器上首先需要开启Docker Daemon服务。

开始之前，先停止docker进程：

  1. sudo service docker stop

创建/etc/docker/daemon.json文件（如果已经存在则修改），加入以下内容：

  1. {
  2.   "hosts" : ["unix:///var/run/docker.sock", "tcp://0.0.0.0:2375"]
  3. }

“unix:///var/run/docker.sock”：UNIX套接字，本地客户端将通过这个来连接Docker Daemon；
tcp://0.0.0.0:2375，TCP套接字，表示允许任何远程客户端通过2375端口连接Docker Daemon.

使用sudo systemctl edit docker新建或修改/etc/systemd/system/docker.service.d/override.conf，其内容如下：

  1. ##Add this to the file for the docker daemon to use different ExecStart parameters (more things can be added here)
  2. [Service]
  3. ExecStart=
  4. ExecStart=/usr/bin/dockerd

默认情况下使用systemd时，docker.service的设置为：ExecStart=/usr/bin/dockerd -H fd://，这将覆写daemon.json中的任何hosts。通过override.conf文件将ExecStart定义为：ExecStart=/usr/bin/dockerd，就能使daemon.json中设置的hosts生效。override.conf中的第一行ExecStart=必须要有，这一行将用于清除默认的ExecStart参数。

重新加载daemon并重启docker服务：

  1. sudo systemctl daemon-reload
  2. sudo systemctl restart docker.service

检查端口监听：

  1. sudo netstat -anp | grep 2375

如果出现以下字样则表明配置成功：

  1. tcp6       0      0 :::2375                 :::*                    LISTEN      79018/dockerd

此时能够在另一台机器上通过远程连接访问本机的Docker Daemon服务，例如：

  1. # 假设开启Docker Daemon服务的机器IP地址为192.168.1.1
  2. docker -H 192.168.1.1:2375 images

3.1.2 建链

使用build_chain.sh脚本快速建链。本节以4个节点、全连接的形式搭链，但本节所述的测试方法能够推广任意数量节点及任意网络拓扑形式的链。

创建生成节点的配置文件（如一个名为ipconf的文件），文件内容如下：

  1. 192.168.1.1:1 agency1 1
  2. 192.168.1.2:1 agency1 1
  3. 192.168.1.3:1 agency1 1
  4. 192.168.1.4:1 agency1 1

生成链中节点的配置文件：

  1. bash  build_chain.sh -f ipconf -i -p 30914,20914,8914

将产生的节点配置文件夹分别拷贝至对应的服务器上：

  1. scp -r 192.168.1.1/node0/ app@192.168.1.1:/data/test
  2. scp -r 192.168.1.2/node0/ app@192.168.1.2:/data/test
  3. scp -r 192.168.1.3/node0/ app@192.168.1.3:/data/test
  4. scp -r 192.168.1.4/node0/ app@192.168.1.3:/data/test

3.2 配置FISCO BCOS适配器

在另外一台机器上部署Caliper，部署教程见第二节。

3.2.1 网络配置

新建一个名为4nodes1group的目录，本阶示例中的FISCO BCOS适配器的网络配置文件均会放置于此。新建一个名为fisco-bcos.json的配置文件，文件内容如下：

  1. {
  2.     "caliper": {
  3.         "blockchain": "fisco-bcos",
  4.         "command": {
  5.             "start": "sh network/fisco-bcos/4nodes1group/start.sh",
  6.             "end": "sh network/fisco-bcos/4nodes1group/end.sh"
  7.         }
  8.     },
  9.     "fisco-bcos": {
  10.         "config": {
  11.             "privateKey": "bcec428d5205abe0f0cc8a734083908d9eb8563e31f943d760786edf42ad67dd",
  12.             "account": "0x64fa644d2a694681bd6addd6c5e36cccd8dcdde3"
  13.         },
  14.         "network": {
  15.             "nodes": [
  16.                 {
  17.                     "ip": "192.168.1.1",
  18.                     "rpcPort": "8914",
  19.                     "channelPort": "20914"
  20.                 },
  21.                 {
  22.                     "ip": "192.168.1.2",
  23.                     "rpcPort": "8914",
  24.                     "channelPort": "20914"
  25.                 },
  26.                 {
  27.                     "ip": "192.168.1.3",
  28.                     "rpcPort": "8914",
  29.                     "channelPort": "20914"
  30.                 },
  31.            ],
  32.             "authentication": {
  33.                 "key": "packages/caliper-samples/network/fisco-bcos/4nodes1group/sdk/node.key",
  34.                 "cert": "packages/caliper-samples/network/fisco-bcos/4nodes1group/sdk/node.crt",
  35.                 "ca": "packages/caliper-samples/network/fisco-bcos/4nodes1group/sdk/ca.crt"
  36.             },
  37.             "groupID": 1,
  38.             "timeout": 600000
  39.         },
  40.         "smartContracts": [
  41.             {
  42.                 "id": "helloworld",
  43.                 "path": "src/contract/fisco-bcos/helloworld/HelloWorld.sol",
  44.                 "language": "solidity",
  45.                 "version": "v0"
  46.             }
  47.         ]
  48.     },
  49.     "info": {
  50.         "Version": "2.0.0",
  51.         "Size": "4 Nodes",
  52.         "Distribution": "Remote Host"
  53.     }
  54. }

配置文件中每一项的具体含义如下：

  • caliper.command.start

启动Caliper时会首先执行start配置中指定的命令，主要用于初始化SUT。本文示例中使用Docker模式启动，启动Caliper时首先执行当前目录下的start.sh文件，其具体内容是：

  1. docker -H 192.168.1.1:2375 run -d --rm --name node0 -v /data/test/node0/:/data -p 8914:8914 -p 20914:20914 -p 30914:30914 -w=/data fiscoorg/fiscobcos:latest -c config.ini 1> /dev/null
  2. docker -H 192.168.1.2:2375 run -d --rm --name node1 -v /data/test/node0/:/data -p 8914:8914 -p 20914:20914 -p 30914:30914 -w=/data fiscoorg/fiscobcos:latest -c config.ini 1> /dev/null
  3. docker -H 192.168.1.3:2375 run -d --rm --name node2 -v /data/test/node0/:/data -p 8914:8914 -p 20914:20914 -p 30914:30914 -w=/data fiscoorg/fiscobcos:latest -c config.ini 1> /dev/null
  4. docker -H 192.168.1.4:2375 run -d --rm --name node3 -v /data/test/node0/:/data -p 8914:8914 -p 20914:20914 -p 30914:30914 -w=/data fiscoorg/fiscobcos:latest -c config.ini 1> /dev/null

即启动远程的Docker容器。如果不需要在Caliper启动时执行命令，需要将该配置项置空。

  • caliper.command.end

Caliper在退出流程的最后会执行end配置指定的命令，主要用于清理环境。本例中在测试结束时会执行当前目录下的end.sh文件，其具体内容是：

  1. docker -H 192.168.1.1:2375 stop $(docker -H 192.168.1.1:2375 ps -a | grep node0 | cut -d " " -f 1) 1> /dev/null && echo -e "\033[32mremote container node0 stopped\033[0m"
  2. docker -H 192.168.1.2:2375 stop $(docker -H 192.168.1.2:2375 ps -a | grep node1 | cut -d " " -f 1) 1> /dev/null && echo -e "\033[32mremote container node1 stopped\033[0m"
  3. docker -H 192.168.1.3:2375 stop $(docker -H 192.168.1.3:2375 ps -a | grep node2 | cut -d " " -f 1) 1> /dev/null && echo -e "\033[32mremote container node2 stopped\033[0m"
  4. docker -H 192.168.1.4:2375 stop $(docker -H 192.168.1.3:2375 ps -a | grep node3 | cut -d " " -f 1) 1> /dev/null && echo -e "\033[32mremote container node3 stopped\033[0m"

即停止并删除有所的远程容器。如果不需要在Caliper退出时执行命令，需要将该配置项置空。

  • network.nodes

一个包含了所有要连接节点的列表，列表中每一项需要指明被连接节点的IP地址、RPC端口及Channel端口号，所有端口号需要和节点的配置文件保持一致。

  • network.authentication

适配器向节点的Channel端口发起请求时需要使用CA根证书等文件，这些文件已在3.1.2节中调用build_chain.sh脚本时已经生成好，使用任一节点配置下的sdk文件夹中的相应文件即可，需要在该配置中写上所有文件的路径（使用相对路径时需要以caliper-cli工作目录为起始目录）。

  • network.smartContracts

指定要测试的合约，Caliper会在启动时想后端区块链系统部署合约。目前FISCO BCOS适配器支持通过language字段指定两种类型的合约——Solidity合约和预编译合约，当测试合约为Solidity合约时，language字段需要指定为solidity，当测试合约为预编译合约时，language字段需要指定为precompiled。当测试合约为预编译合约时，需要在address字段中指定预编译合约的地址，否则需要在path字段中指定Solidity合约的路径。

3.2.2 测试配置

测试配置用于指定测试的具体运行方式。测试配置是一个YAML文件，HelloWorld合约的测试配置文件内容如下所示：

  1. ---
  2. test:
  3.   name: Hello World
  4.   description: This is a helloworld benchmark of FISCO BCOS for caliper
  5.   clients:
  6.     type: local
  7.     number: 1
  8.   rounds:
  9.   - label: get
  10.     description: Test performance of getting name
  11.     txNumber:
  12.     - 10000
  13.     rateControl:
  14.     - type: fixed-rate
  15.       opts:
  16.         tps: 1000
  17.     callback: benchmarks/samples/fisco-bcos/helloworld/get.js
  18.   - label: set
  19.     description: Test performance of setting name
  20.     txNumber:
  21.     - 10000
  22.     rateControl:
  23.     - type: fixed-rate
  24.       opts:
  25.         tps: 1000
  26.     callback: benchmarks/samples/fisco-bcos/helloworld/set.js
  27. monitor:
  28.   type:
  29.   - docker
  30.   docker:
  31.     name:
  32.     - http://192.168.1.1:2375/node0
  33.     - http://192.168.1.2:2375/node1
  34.     - http://192.168.1.3:2375/node2
  35.     - http://192.168.1.4:2375/node3
  36.   interval: 0.1

测试文件中主要包括两部分：

  • 测试内容配置

test项负责对测试内容进行配置。配置主要集中在round字段中指定如何对区块链系统进行测试。每一个测试可以包含多轮，每一轮可以向区块链发起不同的测试请求。具体要HelloWorld合约测试，测试中包含两轮，分别对合约的get接口和set接口进行测试。在每一轮测试中，可以通过txNumber或txDuration字段指定测试的交易发送数量或执行时间，并通过rateControl字段指定交易发送时的速率控制器，在本节的示例中，使用了QPS为1000的匀速控制器，更多速率控制器的介绍可以参考官方文档。

  • 性能监视器配置

monitor项负责对测试所使用的性能监视器的进行配置。每项配置项的解释如下：

  1. monitor.type，需要指定为docker，指对docker容器进行监控；
  2. monitor.docker.name，一个包含所有要监视的节点的docker容器名称列表，名字必须以http://开头，其后跟随”{节点的IP}:{节点docker daemon端口}/{docker容器的名称}”；
  3. monitor.interval，监视器的采样间隔，单位为秒。

如果是在本地搭好的链，则可以添加本地性能监视器，相应地监视器的配置更改如下：

  1. monitor:
  2.   type:
  3.   - process
  4.   process:
  5.     - command: node0
  6.       multiOutput: avg
  7.     - command: node1
  8.       multiOutput: avg
  9.     - command: node2
  10.       multiOutput: avg
  11.     - command: node3
  12.       multiOutput: avg
  13.   interval: 0.1

其中每项配置项的解释如下：

  1. monitor.type，需要指定为process，只对进程进行监控；
  2. monitor.process，一个包含所有要监视的进称列表，其中每个进程的command属性为一个正则表达式，表示进程名称；每个进程还可以有一个arguments属性（未在上述示例中使用到），表示进程的参数。Caliper会先使用ps命令搜索commad + arguments,然后匹配以得到目标的进程的进程ID及系统资源的使用情况。每个进程的multiOutput属性用于指定结果的输出方式，目前支持平均值（avg）及总和（sum）两种方式；
  3. monitor.interval，监视器的采样间隔，单位为秒。

需要注意的是，进程监控目前暂不支持监控进程对网络和磁盘的使用情况。