TPC-DS Benchmark

TPC-DS（Transaction Processing Performance Council Decision Support Benchmark）是一个以决策支持为重点的基准测试，旨在评估数据仓库和分析系统的性能。它是由 TPC（Transaction Processing Performance Council）组织开发的，用于比较不同系统在处理复杂查询和大规模数据分析方面的能力。

TPC-DS 的设计目标是模拟现实世界中的复杂决策支持工作负载。它通过一系列复杂的查询和数据操作来测试系统的性能，包括联接、聚合、排序、过滤、子查询等。这些查询模式涵盖了从简单到复杂的各种场景，如报表生成、数据挖掘、OLAP（联机分析处理）等。

本文档主要介绍 Doris 在 TPC-DS 1000G 测试集上的性能表现。

在 TPC-DS 标准测试数据集上的 99 个查询上，我们基于 Apache Doris 2.1.1-rc03 和 Apache Doris 2.0.6 版本进行了对比测试。

TPCDS_1000G

1. 硬件环境

硬件配置说明
机器数量4 台腾讯云主机（1 个 FE，3 个 BE）
CPUAMD EPYC™ Milan(2.55GHz/3.5GHz) 48 核
内存192G
网络带宽21Gbps
磁盘高性能云硬盘

2. 软件环境

  • Doris 部署 3BE 1FE
  • 内核版本：Linux version 5.4.0-96-generic (buildd@lgw01-amd64-051)
  • 操作系统版本：Ubuntu 20.04 LTS (Focal Fossa)
  • Doris 软件版本：Apache Doris 2.1.1-rc03、Apache Doris 2.0.6
  • JDK：openjdk version “1.8.0_131”

3. 测试数据量

整个测试模拟生成 TPC-DS 1000G 的数据分别导入到 Apache Doris 2.1.1-rc03 和 Apache Doris 2.0.6 版本进行测试，下面是表的相关说明及数据量。

TPC-DS 表名行数
customer_demographics1,920,800
reason65
warehouse20
date_dim73,049
catalog_sales1,439,980,416
call_center42
inventory783,000,000
catalog_returns143,996,756
household_demographics7,200
customer_address6,000,000
income_band20
catalog_page30,000
item300,000
web_returns71,997,522
web_site54
promotion1,500
web_sales720,000,376
store1,002
web_page3,000
time_dim86,400
store_returns287,999,764
store_sales2,879,987,999
ship_mode20
customer12,000,000

4. 测试 SQL

TPC-DS 99 个测试查询语句： TPC-DS-Query-SQL

5. 测试结果

这里我们使用 Apache Doris 2.1.1-rc03 和 Apache Doris 2.0.6 版本进行对比测试，测试结果如下：

QueryApache Doris 2.1.1-rc03 (ms)Apache Doris 2.0.6 (ms)
query1729914
query251204669
query3286285
query41163335148
query564122979
query62671351
query7468517
query8263591
query944445430
query104183341
query11724623300
query12115105
query136611719
query141395533254
query154741414
query16366402
query1710972371
query18581760
query19283308
query20137117
query2111094
query2219962481
query234482677381
query24987323910
query256661021
query26221213
query27490544
query2840894593
query297681024
query30313682
query3118472252
query327168
query33460539
query34629638
query35166010505
query36412441
query379486
query3888048379
query39606898
query40164190
query415530
query42115113
query438041332
query4415091520
query4516781306
query4611962167
query4728123859
query485591419
query49646725
query507571299
query5163804954
query52128123
query53396391
query543888212
query55124124
query56360434
query5718112494
query58304666
query5957587432
query60474481
query61486536
query626471082
query63358303
query6432504968
query6554105971
query66484603
query672634734052
query6814221428
query69654808
query7022854462
query716501006
query7243244717
query73500558
query74667814127
query7537346312
query7618351870
query77382496
query781992323091
query7930614090
query808511559
query81565960
query82242221
query83254415
query84203131
query85364444
query86651931
query8789728554
query8840955202
query89508480
query90233322
query91174159
query926259
query9316011618
query94297297
query95124027354
query96508847
query97544911528
query98382287
query9914102147
Total264028487990

6. 环境准备

请先参照 官方文档 进行 Doris 的安装部署，以获得一个正常运行中的 Doris 集群（至少包含 1 FE 1 BE，推荐 1 FE 3 BE）。

7. 数据准备

7.1 下载安装 TPC-DS 数据生成工具

执行以下脚本下载并编译 tpcds-tools 工具。

  1. sh bin/build-tpcds-tools.sh

7.2 生成 TPC-DS 测试集

执行以下脚本生成 TPC-DS 数据集：

  1. sh bin/gen-tpcds-data.sh -s 1000

注 1：通过 sh gen-tpcds-data.sh -h 查看脚本帮助。

注 2：数据会以 .dat 为后缀生成在 tpcds-data/ 目录下。文件总大小约 1000GB。生成时间可能在数分钟到 1 小时不等。

注 3：默认生成 100G 的标准测试数据集

7.3 建表

7.3.1 准备 doris-cluster.conf 文件

在调用导入脚本前，需要将 FE 的 ip 端口等信息写在 doris-cluster.conf 文件中。

文件位置在 ${DORIS_HOME}/tools/tpcds-tools/conf/ 目录下。

文件内容包括 FE 的 ip，HTTP 端口，用户名，密码以及待导入数据的 DB 名称：

  1. # Any of FE host
  2. export FE_HOST='127.0.0.1'
  3. # http_port in fe.conf
  4. export FE_HTTP_PORT=8030
  5. # query_port in fe.conf
  6. export FE_QUERY_PORT=9030
  7. # Doris username
  8. export USER='root'
  9. # Doris password
  10. export PASSWORD=''
  11. # The database where TPC-DS tables located
  12. export DB='tpcds'

7.3.2 执行以下脚本生成创建 TPC-DS 表

  1. sh bin/create-tpcds-tables.sh -s 1000

或者复制 create-tpcds-tables.sql 中的建表语句，在 Doris 中执行。

7.4 导入数据

通过下面的命令执行数据导入：

  1. sh bin/load-tpcds-data.sh

7.5 查询测试

7.5.1 执行查询脚本

单个 SQL 执行 或者 执行下面的命令

  1. sh bin/run-tpcds-queries.sh -s 1000

7.5.2 单个 SQL 执行

你也可以从代码库里获取最新的 SQL。最新测试查询语句地址：TPC-DS 测试查询语句