统计信息

通过收集统计信息有助于优化器了解数据分布特性，在进行CBO（基于成本优化）时优化器会利用这些统计信息来计算谓词的选择性，并估算每个执行计划的成本。从而选择更优的计划以大幅提升查询效率。

当前收集列的如下信息：

1. 收集统计信息

1.1 使用ANALYZE语句手动收集

Doris支持用户通过提交ANALYZE语句来手动触发统计信息的收集和更新。

语法：

ANALYZE < TABLE | DATABASE table_name | db_name > 
    [ (column_name [, ...]) ]
    [ [ WITH SYNC ] [ WITH SAMPLE PERCENT | ROWS ] ];

其中：

• table_name: 指定的目标表。可以是 db_name.table_name 形式。
• column_name: 指定的目标列。必须是 table_name 中存在的列，多个列名称用逗号分隔。
• sync：同步收集统计信息。收集完后返回。若不指定则异步执行并返回JOB ID。
• sample percent | rows：抽样收集统计信息。可以指定抽样比例或者抽样行数。

下面是一些例子

对一张表按照10%的比例采样收集统计数据：

ANALYZE TABLE lineitem WITH SAMPLE PERCENT 10;

对一张表按采样10万行收集统计数据

ANALYZE TABLE lineitem WITH SAMPLE ROWS 100000;

1.2 自动收集

此功能从2.0.3开始正式支持，默认为全天开启状态。下面对其基本运行逻辑进行阐述，在每次导入事务提交后，Doris将记录本次导入事务更新的表行数用以估算当前已有表的统计数据的健康度（对于没有收集过统计数据的表，其健康度为0）。当表的健康度低于60（可通过参数table_stats_health_threshold调节）时，Doris会认为该表的统计信息已经过时，并在之后触发对该表的统计信息收集作业。而对于统计信息健康度高于60的表，则不会重复进行收集。

统计信息的收集作业本身需要占用一定的系统资源，为了尽可能降低开销，对于数据量较大（默认为5GiB，可通过设置FE参数huge_table_lower_bound_size_in_bytes来调节此行为）的表，Doris会自动采取采样的方式去收集，自动采样默认采样4194304(2^22)行，以尽可能降低对系统造成的负担并尽快完成收集作业。如果希望采样更多的行以获得更准确的数据分布信息，可通过调整参数huge_table_default_sample_rows增大采样行数。另外对于数据量大于huge_table_lower_bound_size_in_bytes * 5 的表，Doris保证其收集时间间隔不小于12小时（该时间可通过调整参数huge_table_auto_analyze_interval_in_millis控制）。

如果担心自动收集作业对业务造成干扰，可结合自身需求通过设置参数auto_analyze_start_time和参数auto_analyze_end_time指定自动收集作业在业务负载较低的时间段执行。也可以通过设置参数enable_auto_analyze 为false来彻底关闭本功能。

External catalog 默认不参与自动收集。因为 external catalog 往往包含海量历史数据，如果参与自动收集，可能占用过多资源。可以通过设置 catalog 的 property 来打开和关闭 external catalog 的自动收集。

ALTER CATALOG external_catalog SET PROPERTIES ('enable.auto.analyze'='true'); // 打开自动收集
ALTER CATALOG external_catalog SET PROPERTIES ('enable.auto.analyze'='false'); // 关闭自动收集

2. 作业管理

2.1 查看统计作业

通过 SHOW ANALYZE 来查看统计信息收集作业的信息。

语法如下：

SHOW [AUTO] ANALYZE < table_name | job_id >
    [ WHERE [ STATE = [ "PENDING" | "RUNNING" | "FINISHED" | "FAILED" ] ] ];

• AUTO：仅仅展示自动收集历史作业信息。需要注意的是默认只保存过去20000个执行完毕的自动收集作业的状态。
• table_name：表名，指定后可查看该表对应的统计作业信息。可以是 db_name.table_name 形式。不指定时返回所有统计作业信息。
• job_id：统计信息作业 ID，执行 ANALYZE 异步收集时得到。不指定id时此命令返回所有统计作业信息。

输出：

下面是一个例子：

mysql> show analyze 245073\G;
*************************** 1. row ***************************
              job_id: 245073
        catalog_name: internal
             db_name: default_cluster:tpch
            tbl_name: lineitem
            col_name: [l_returnflag,l_receiptdate,l_tax,l_shipmode,l_suppkey,l_shipdate,l_commitdate,l_partkey,l_orderkey,l_quantity,l_linestatus,l_comment,l_extendedprice,l_linenumber,l_discount,l_shipinstruct]
            job_type: MANUAL
       analysis_type: FUNDAMENTALS
             message: 
last_exec_time_in_ms: 2023-11-07 11:00:52
               state: FINISHED
            progress: 16 Finished  |  0 Failed  |  0 In Progress  |  16 Total
       schedule_type: ONCE

2.2 查看每列统计信息收集情况

每个收集作业中可以包含一到多个任务，每个任务对应一列的收集。用户可通过如下命令查看具体每列的统计信息收集完成情况。

语法：

SHOW ANALYZE TASK STATUS [job_id]

下面是一个例子：

mysql> show analyze task status 20038 ;
+---------+----------+---------+----------------------+----------+
| task_id | col_name | message | last_exec_time_in_ms | state    |
+---------+----------+---------+----------------------+----------+
| 20039   | col4     |         | 2023-06-01 17:22:15  | FINISHED |
| 20040   | col2     |         | 2023-06-01 17:22:15  | FINISHED |
| 20041   | col3     |         | 2023-06-01 17:22:15  | FINISHED |
| 20042   | col1     |         | 2023-06-01 17:22:15  | FINISHED |
+---------+----------+---------+----------------------+----------+

2.3 查看列统计信息

通过 SHOW COLUMN STATS 来查看列的各项统计数据。

语法如下：

SHOW COLUMN [cached] STATS table_name [ (column_name [, ...]) ];

其中：

• cached: 展示当前FE内存缓存中的统计信息。
• table_name: 收集统计信息的目标表。可以是 db_name.table_name 形式。
• column_name: 指定的目标列，必须是 table_name 中存在的列，多个列名称用逗号分隔。

下面是一个例子：

mysql> show column stats lineitem(l_tax)\G;
*************************** 1. row ***************************
  column_name: l_tax
        count: 6001215.0
          ndv: 9.0
     num_null: 0.0
    data_size: 4.800972E7
avg_size_byte: 8.0
          min: 0.00
          max: 0.08
       method: FULL
         type: FUNDAMENTALS
      trigger: MANUAL
  query_times: 0
 updated_time: 2023-11-07 11:00:46

2.4 表收集概况

通过 SHOW TABLE STATS 查看表的统计信息收集概况。

语法如下：

SHOW TABLE STATS table_name;

其中：

• table_name: 目标表表名。可以是 db_name.table_name 形式。

输出：

下面是一个例子：

mysql> show table stats lineitem \G;
*************************** 1. row ***************************
updated_rows: 0
 query_times: 0
   row_count: 6001215
updated_time: 2023-11-07
     columns: [l_returnflag, l_receiptdate, l_tax, l_shipmode, l_suppkey, l_shipdate, l_commitdate, l_partkey, l_orderkey, l_quantity, l_linestatus, l_comment, l_extendedprice, l_linenumber, l_discount, l_shipinstruct]
     trigger: MANUAL

2.5 终止统计作业

通过 KILL ANALYZE 来终止正在运行的统计作业。

语法如下：

KILL ANALYZE job_id;

其中：

• job_id：统计信息作业 ID。执行 ANALYZE 异步收集统计信息时所返回的值，也可以通过 SHOW ANALYZE 语句获取。

示例：

• 终止 ID 为 52357 的统计作业。

mysql> KILL ANALYZE 52357;

3. 会话变量及配置项

3.1 会话变量

3.2 FE配置项

下面的FE配置项通常情况下，无需关注

4. 常见问题

4.1 ANALYZE提交报错：Stats table not available…

执行ANALYZE时统计数据会被写入到内部表__internal_schema.column_statistics中，FE会在执行ANALYZE前检查该表tablet状态，如果存在不可用的tablet则拒绝执行作业。出现该报错请检查BE集群状态。

用户可通过SHOW BACKENDS\G，确定BE状态是否正常。如果BE状态正常，可使用命令ADMIN SHOW REPLICA STATUS FROM __internal_schema.[tbl_in_this_db]，检查该库下tablet状态，确保tablet状态正常。

4.2 大表ANALYZE失败

由于ANALYZE能够使用的资源受到比较严格的限制，对一些大表的ANALYZE操作有可能超时或者超出BE内存限制。这些情况下，建议使用 ANALYZE ... WITH SAMPLE...。