DISTINCT 算子用于为对数据行去重,包括去除重复的 NULL 值。
DISTINCT 算子包括 HASH DISTINCT 和 MERGE DISTINCT。
HASH DISTINCT
HASH DISTINCT 算子使用 HASH 算法执行 DISTINCT 运算。
示例 1:使用 HASH 算法执行 DISTINCT 运算,对 t1 表的 c1 列进行去重处理
obclient>CREATE TABLE t1(c1 INT, c2 INT);
Query OK, 0 rows affected (0.09 sec)
obclient>CREATE TABLE t2(c1 INT, c2 INT);
Query OK, 0 rows affected (0.09 sec)
obclient>EXPLAIN SELECT /*+USE_HASH_AGGREGATION*/ DISTINCT c1 FROM t1\G;
*************************** 1. row ***************************
Query Plan:
|=======================================
|ID|OPERATOR |NAME|EST. ROWS|COST |
---------------------------------------
|0 |HASH DISTINCT| |101 |99169|
|1 | TABLE SCAN |t1 |100000 |66272|
=======================================
Outputs & filters:
-------------------------------------
0 - output([t1.c1]), filter(nil),
distinct([t1.c1])
1 - output([t1.c1]), filter(nil),
access([t1.c1]), partitions(p0)
上述示例中,执行计划展示中 0 号算子 HASH DISTINCT 执行去重运算,outputs & filters 详细展示了 HASH DISTINCT 算子的具体输出信息如下:
信息名称 | 含义 |
---|---|
output | 该算子的输出列。 |
filter | 该算子的过滤谓词。 由于示例中 HASH DISTINCT 算子没有设置 filter,所以为 nil。 |
partition | 查询需要扫描的分区。 |
distinct | 指定需要去重的列。 例如, |
MERGE DISTINCT
MERGE DISTINCT 算子使用 MERGE 算法执行 DISTINCT 运算。
示例 2:使用 MERGE 算法执行 DISTINCT 运算
obclient>EXPLAIN SELECT /*+NO_USE_HASH_AGGREGATION*/ DISTINCT c1 FROM t1\G;
*************************** 1. row ***************************
Query Plan:
|=======================================
|ID|OPERATOR |NAME|EST. ROWS|COST|
---------------------------------------
|0 |MERGE DISTINCT| |3 |40 |
|1 | SORT | |3 |39 |
|2 | TABLE SCAN |t1 |3 |37 |
=======================================
Outputs & filters:
-------------------------------------
0 - output([t1.c1]), filter(nil),
distinct([t1.c1])
1 - output([t1.c1]), filter(nil), sort_keys([t1.c1, ASC])
2 - output([t1.c1]), filter(nil),
access([t1.c1]), partitions(p0)
上述示例中,0 号算子 MERGE DISTINCT 执行去重运算,采用了 MERGE 算法,并且由于 2 号算子输出的数据是无序的,而 MERGE DISTINCT 算子需要输入的数据有序,所以在执行去重运算前需要使用 SORT 算子对数据排序。执行计划展示中的 outputs & filters 详细展示了 MERGE DISTINCT 算子的输出信息如下:
信息名称 | 含义 |
---|---|
output | 该算子的输出列。 |
filter | 该算子的过滤谓词。 由于示例中 MERGE DISTINCT 算子没有设置 filter,所以为 nil。 |
distinct | 指定需要去重的列。 例如, |