HugeGraph BenchMark Performance

1 测试环境

1.1 硬件信息

1.2 软件信息

1.2.1 测试用例

测试使用graphdb-benchmark，一个图数据库测试集。该测试集主要包含4类测试：

• Massive Insertion，批量插入顶点和边，一定数量的顶点或边一次性提交

• Single Insertion，单条插入，每个顶点或者每条边立即提交

• Query，主要是图数据库的基本查询操作：

  • Find Neighbors，查询所有顶点的邻居
  • Find Adjacent Nodes，查询所有边的邻接顶点
  • Find Shortest Path，查询第一个顶点到100个随机顶点的最短路径
• Clustering，基于Louvain Method的社区发现算法

1.2.2 测试数据集

测试使用人造数据和真实数据

• MIW、SIW和QW使用SNAP数据集

  • Enron Dataset

  • Amazon dataset

  • Youtube dataset

  • LiveJournal dataset

• CW使用LFR-Benchmark generator生成的人造数据

本测试用到的数据集规模

1.3 服务配置

• HugeGraph版本：0.5.6，RestServer和Gremlin Server和backends都在同一台服务器上

  • RocksDB版本：rocksdbjni-5.8.6

• Titan版本：0.5.4, 使用thrift+Cassandra模式

  • Cassandra版本：cassandra-3.10，commit-log 和 data 共用SSD
• Neo4j版本：2.0.1

graphdb-benchmark适配的Titan版本为0.5.4

2 测试结果

2.1 Batch插入性能

说明

• 表头”（）“中数据是数据规模，以边为单位
• 表中数据是批量插入的时间，单位是s
• 例如，HugeGraph使用RocksDB插入amazon0601数据集的300w条边，花费5.711s

结论

• 批量插入性能 HugeGraph(RocksDB) > Neo4j > Titan(thrift+Cassandra)

2.2 遍历性能

2.2.1 术语说明

• FN(Find Neighbor), 遍历所有vertex, 根据vertex查邻接edge, 通过edge和vertex查other vertex
• FA(Find Adjacent), 遍历所有edge，根据edge获得source vertex和target vertex

2.2.2 FN性能

说明

• 表头”（）“中数据是数据规模，以顶点为单位
• 表中数据是遍历顶点花费的时间，单位是s
• 例如，HugeGraph使用RocksDB后端遍历amazon0601的所有顶点，并查找邻接边和另一顶点，总共耗时45.118s

2.2.3 FA性能

说明

• 表头”（）“中数据是数据规模，以边为单位
• 表中数据是遍历边花费的时间，单位是s
• 例如，HugeGraph使用RocksDB后端遍历amazon0601的所有边，并查询每条边的两个顶点，总共耗时10.764s

结论

• 遍历性能 Neo4j > HugeGraph(RocksDB) > Titan(thrift+Cassandra)

2.3 HugeGraph-图常用分析方法性能

术语说明

• FS(Find Shortest Path), 寻找最短路径
• K-neighbor，从起始vertex出发，通过K跳边能够到达的所有顶点, 包括1, 2, 3…(K-1), K跳边可达vertex
• K-out, 从起始vertex出发，恰好经过K跳out边能够到达的顶点

FS性能

说明

• 表头”（）“中数据是数据规模，以边为单位
• 表中数据是找到从第一个顶点出发到达随机选择的100个顶点的最短路径的时间，单位是s
• 例如，HugeGraph使用RocksDB后端在图amazon0601中查找第一个顶点到100个随机顶点的最短路径，总共耗时0.103s

结论

• 在数据规模小或者顶点关联关系少的场景下，HugeGraph性能优于Neo4j和Titan
• 随着数据规模增大且顶点的关联度增高，HugeGraph与Neo4j性能趋近，都远高于Titan

K-neighbor性能

说明

• HugeGraph-Server的JVM内存设置为32GB，数据量过大时会出现OOM

K-out性能

说明

• HugeGraph-Server的JVM内存设置为32GB，数据量过大时会出现OOM

结论

• FS场景，HugeGraph性能优于Neo4j和Titan
• K-neighbor和K-out场景，HugeGraph能够实现在5度范围内秒级返回结果

2.4 图综合性能测试-CW

说明

• “规模”以顶点为单位
• 表中数据是社区发现完成需要的时间，单位是s，例如HugeGraph使用RocksDB后端在规模10000的数据集，社区聚合不再变化，需要耗时744.780s
• CW测试是CRUD的综合评估
• 该测试中HugeGraph跟Titan一样，没有通过client，直接对core操作

结论

• 社区聚类算法性能 Neo4j > HugeGraph > Titan

Last modified September 15, 2022: cn: format table & fix typo (#150) (53bf0aaf)