元数据引擎性能对比测试

首先展示结论：

• 对于纯元数据操作，MySQL 耗时约为 Redis 的 2～4 倍；TiKV 性能与 MySQL 接近，大部分场景下略优于 MySQL
• 对于小 IO（～100 KiB）压力，使用 MySQL 引擎的操作总耗时大约是使用 Redis 引擎总耗时的 1～3 倍；TiKV 耗时与 MySQL 接近
• 对于大 IO（～4 MiB）压力，使用不同元数据引擎的总耗时未见明显差异（此时对象存储成为瓶颈）

注意：

1. Redis 可以通过将 appendfsync 配置项由 always 改为 everysec，牺牲少量可靠性来换取一定的性能提升；更多信息可参见这里
2. 测试中 Redis 和 MySQL 数据均仅在本地存储单副本，TiKV 数据会在三个节点间通过 Raft 协议存储三副本

以下提供了测试的具体细节。这些测试都运行在相同的对象存储（用来存放数据），客户端和元数据节点上；只有元数据引擎不同。

测试环境

JuiceFS 版本

juicefs version 0.16-dev (2021-07-20 9efa870)

对象存储

Amazon S3

客户端节点

• Amazon c5.xlarge: 4 vCPUs, 8 GiB Memory, Up to 10 Gigabit Network
• Ubuntu 18.04.4 LTS

元数据节点

• Amazon c5d.xlarge: 4 vCPUs, 8 GiB Memory, Up to 10 Gigabit Network, 100 GB SSD（为元数据引擎提供本地存储）
• Ubuntu 18.04.4 LTS
• SSD 数据盘被格式化为 ext4 文件系统并挂载到 /data 目录

元数据引擎

Redis

• 版本: 6.2.3
• 配置:
  • appendonly: yes
  • appendfsync: 分别测试了 always 和 everysec
  • dir: /data/redis

MySQL

• 版本: 8.0.25
• /var/lib/mysql 目录被绑定挂载到 /data/mysql

TiKV

• 版本: 5.1.0
• 配置:
  • deploy_dir: /data/tikv-deploy
  • data_dir: /data/tikv-data

测试工具

每种元数据引擎都会运行以下所有测试。

Golang Benchmark

在源码中提供了简单的元数据基准测试: pkg/meta/benchmarks_test.go。

JuiceFS Bench

JuiceFS 提供了一个基础的性能测试命令：

$ ./juicefs bench /mnt/jfs

mdtest

• 版本: mdtest-3.4.0+dev

在3个客户端节点上并发执行测试：

$ cat myhost
client1 slots=4
client2 slots=4
client3 slots=4

测试命令:

# meta only
$ mpirun --use-hwthread-cpus --allow-run-as-root -np 12 --hostfile myhost --map-by slot /root/mdtest -b 3 -z 1 -I 100 -u -d /mnt/jfs
# 12000 * 100KiB files
$ mpirun --use-hwthread-cpus --allow-run-as-root -np 12 --hostfile myhost --map-by slot /root/mdtest -F -w 102400 -I 1000 -z 0 -u -d /mnt/jfs

fio

• 版本: fio-3.1

fio --name=big-write --directory=/mnt/jfs --rw=write --refill_buffers --bs=4M --size=4G --numjobs=4 --end_fsync=1 --group_reporting

测试结果

Golang Benchmark

• 展示了操作耗时（单位为 微秒/op），数值越小越好
• 括号内数字是该指标对比 Redis-Always 的倍数（always 和 everysec 均是 Redis 配置项 appendfsync 的可选值）
• 由于元数据缓存缘故，目前 Read 接口测试数据均小于 1 微秒，暂无对比意义

JuiceFS Bench

mdtest

• 展示了操作速率（每秒 OPS 数），数值越大越好

fio