性能评估

环境准备

集群信息

卷设置

#!/bin/bash
# create volume
curl "http://${MASTER}/admin/createVol?name=intest&owner=cfs&capacity=300000000&mpCount=10"
# increase 1500 data partitions
curl "http://${MASTER}/dataPartition/create?name=intest&count=1500"

• 初始元数据分区数： 10
• 元数据副本数： 3
• 初始数据分区数： 1510
• 数据副本数： 3

小文件性能评估

通过 mdtest 进行小文件性能测试的结果如下：

配置

#!/bin/bash
set -e
TARGET_PATH="/mnt/test/mdtest" # mount point of ChubaoFS volume
for FILE_SIZE in 1024 2048 4096 8192 16384 32768 65536 131072 # file size
do
mpirun --allow-run-as-root -np 512 --hostfile hfile64 mdtest -n 1000 -w $i -e $FILE_SIZE -y -u -i 3 -N 1 -F -R -d $TARGET_PATH;
done

测试结果

IO性能评估

通过 fio 进行IO性能测试的结果如下：

1. 顺序读

工具设置

#!/bin/bash
fio -directory={} \
    -ioengine=psync \
    -rw=read \  # sequential read
    -bs=128k \  # block size
    -direct=1 \ # enable direct IO
    -group_reporting=1 \
    -fallocate=none \
    -time_based=1 \
    -runtime=120 \
    -name=test_file_c{} \
    -numjobs={} \
    -nrfiles=1 \
    -size=10G

带宽

IOPS

延迟

2. 顺序写

工具设置

#!/bin/bash
fio -directory={} \
    -ioengine=psync \
    -rw=write \ # sequential write
    -bs=128k \  # block size
    -direct=1 \ # enable direct IO
    -group_reporting=1 \
    -fallocate=none \
    -name=test_file_c{} \
    -numjobs={} \
    -nrfiles=1 \
    -size=10G

带宽

IOPS

延迟

3. 随机读

工具设置

#!/bin/bash
fio -directory={} \
    -ioengine=psync \
    -rw=randread \ # random read
    -bs=4k \       # block size
    -direct=1 \    # enable direct IO
    -group_reporting=1 \
    -fallocate=none \
    -time_based=1 \
    -runtime=120 \
    -name=test_file_c{} \
    -numjobs={} \
    -nrfiles=1 \
    -size=10G

带宽

IOPS

延迟

4. 随机写

工具设置

#!/bin/bash
fio -directory={} \
    -ioengine=psync \
    -rw=randwrite \ # random write
    -bs=4k \        # block size
    -direct=1 \     # enable direct IO
    -group_reporting=1 \
    -fallocate=none \
    -time_based=1 \
    -runtime=120 \
    -name=test_file_c{} \
    -numjobs={} \
    -nrfiles=1 \
    -size=10G

带宽

IOPS

延迟

元数据性能评估

通过 mdtest 进行元数据性能测试的结果如下：

工具设置

#!/bin/bash
TEST_PATH=/mnt/cfs/mdtest # mount point of ChubaoFS volume
for CLIENTS in 1 2 4 8 # number of clients
do
mpirun --allow-run-as-root -np $CLIENTS --hostfile hfile01 mdtest -n 5000 -u -z 2 -i 3 -d $TEST_PATH;
done

目录创建

目录删除

目录状态查看

文件创建

文件删除

Tree创建

Tree删除

功能完整性评估

• Linux Test Project / fs

多种负载评估

• Database backup

• Java application logs

• Code git repo

• Database systems

MyRocks,MySQL Innodb,HBase,

可扩展性评估

• 卷扩展性: 单集群可以支持百万级别的cfs卷
• 元数据扩展性: 单卷可以支持十亿级别文件或者目录