异步物化视图

物化视图的构建和维护

创建物化视图

准备两张表和数据

  1. use tpch;
  3. CREATE TABLE IF NOT EXISTS orders  (
  4.     o_orderkey       integer not null,
  5.     o_custkey        integer not null,
  6.     o_orderstatus    char(1) not null,
  7.     o_totalprice     decimalv3(15,2) not null,
  8.     o_orderdate      date not null,
  9.     o_orderpriority  char(15) not null,
  10.     o_clerk          char(15) not null,
  11.     o_shippriority   integer not null,
  12.     o_comment        varchar(79) not null
  13.     )
  14.     DUPLICATE KEY(o_orderkey, o_custkey)
  15.     PARTITION BY RANGE(o_orderdate)(
  16.     FROM ('2023-10-17') TO ('2023-10-20') INTERVAL 1 DAY)
  17.     DISTRIBUTED BY HASH(o_orderkey) BUCKETS 3
  18.     PROPERTIES ("replication_num" = "1");
  20. insert into orders values
  21.    (1, 1, 'o', 99.5, '2023-10-17', 'a', 'b', 1, 'yy'),
  22.    (2, 2, 'o', 109.2, '2023-10-18', 'c','d',2, 'mm'),
  23.    (3, 3, 'o', 99.5, '2023-10-19', 'a', 'b', 1, 'yy');
  25. CREATE TABLE IF NOT EXISTS lineitem (
  26.     l_orderkey    integer not null,
  27.     l_partkey     integer not null,
  28.     l_suppkey     integer not null,
  29.     l_linenumber  integer not null,
  30.     l_quantity    decimalv3(15,2) not null,
  31.     l_extendedprice  decimalv3(15,2) not null,
  32.     l_discount    decimalv3(15,2) not null,
  33.     l_tax         decimalv3(15,2) not null,
  34.     l_returnflag  char(1) not null,
  35.     l_linestatus  char(1) not null,
  36.     l_shipdate    date not null,
  37.     l_commitdate  date not null,
  38.     l_receiptdate date not null,
  39.     l_shipinstruct char(25) not null,
  40.     l_shipmode     char(10) not null,
  41.     l_comment      varchar(44) not null
  42.     )
  43.     DUPLICATE KEY(l_orderkey, l_partkey, l_suppkey, l_linenumber)
  44.     PARTITION BY RANGE(l_shipdate)
  45.     (FROM ('2023-10-17') TO ('2023-10-20') INTERVAL 1 DAY)
  46.     DISTRIBUTED BY HASH(l_orderkey) BUCKETS 3
  47.     PROPERTIES ("replication_num" = "1");
  49. insert into lineitem values
  50.  (1, 2, 3, 4, 5.5, 6.5, 7.5, 8.5, 'o', 'k', '2023-10-17', '2023-10-17', '2023-10-17', 'a', 'b', 'yyyyyyyyy'),
  51.  (2, 2, 3, 4, 5.5, 6.5, 7.5, 8.5, 'o', 'k', '2023-10-18', '2023-10-18', '2023-10-18', 'a', 'b', 'yyyyyyyyy'),
  52.  (3, 2, 3, 6, 7.5, 8.5, 9.5, 10.5, 'k', 'o', '2023-10-19', '2023-10-19', '2023-10-19', 'c', 'd', 'xxxxxxxxx');

创建物化视图

  1. CREATE MATERIALIZED VIEW mv1 
  2.         BUILD DEFERRED REFRESH AUTO ON MANUAL
  3.         partition by(l_shipdate)
  4.         DISTRIBUTED BY RANDOM BUCKETS 2
  5.         PROPERTIES ('replication_num' = '1') 
  6.         AS 
  7.         select l_shipdate, o_orderdate, l_partkey, l_suppkey, sum(o_totalprice) as sum_total
  8.             from lineitem
  9.             left join orders on lineitem.l_orderkey = orders.o_orderkey and l_shipdate = o_orderdate
  10.             group by
  11.             l_shipdate,
  12.             o_orderdate,
  13.             l_partkey,
  14.             l_suppkey;

具体的语法可查看 CREATE-ASYNC-MATERIALIZED-VIEW.

查看物化视图元信息

  1. select * from mv_infos("database"="tpch") where Name="mv1";

物化视图独有的特性可以通过 mv_infos() 查看。

和 Table 相关的属性，仍通过 SHOW TABLES 查看。

刷新物化视图

物化视图支持不同刷新策略，如定时刷新和手动刷新。也支持不同的刷新粒度，如全量刷新，分区粒度的增量刷新等。这里我们以手动刷新物化视图的部分分区为例。

首先查看物化视图分区列表

  1. SHOW PARTITIONS FROM mv1;

刷新名字为p_20231017_20231018的分区

  1. REFRESH MATERIALIZED VIEW mv1 partitions(p_20231017_20231018);

具体的语法可查看REFRESH MATERIALIZED VIEW

任务管理

每个物化视图都会默认有一个 Job 负责刷新数据，Job 用来描述物化视图的刷新策略等信息，每次触发刷新，都会产生一个 Task， Task 用来描述具体的一次刷新信息，例如刷新用的时间，刷新了哪些分区等

查看物化视图的 Job

  1. select * from jobs("type"="mv") order by CreateTime;

具体的语法可查看jobs(“type”=”mv”)

暂停物化视图 job 定时调度

  1. PAUSE MATERIALIZED VIEW JOB ON mv1;

可以暂停物化视图的定时调度

具体的语法可查看PAUSE MATERIALIZED VIEW Job

恢复物化视图 Job 定时调度

  1. RESUME MATERIALIZED VIEW JOB ON mv1;

可以恢复物化视图的定时调度

具体的语法可查看RESUME MATERIALIZED VIEW JOB

查看物化视图的 Task

  1. select * from tasks("type"="mv");

具体的语法可查看tasks(“type”=”mv”)

取消物化视图的 Task

  1. CANCEL MATERIALIZED VIEW TASK realTaskId on mv1;

可以取消本次 Task 的运行

具体的语法可查看CANCEL MATERIALIZED VIEW TASK

修改物化视图

修改物化视图的属性

  1. ALTER MATERIALIZED VIEW mv1 set("grace_period"="3333");

修改物化视图的名字，物化视图的刷新方式及物化视图特有的 Property 可通过ALTER ASYNC MATERIALIZED VIEW来修改

物化视图本身也是一个 Table，所以 Table 相关的属性，例如副本数，仍通过ALTER TABLE相关的语法来修改。

删除物化视图

  1. DROP MATERIALIZED VIEW mv1;

物化视图有专门的删除语法，不能通过 Drop Table 来删除，

具体的语法可查看DROP ASYNC MATERIALIZED VIEW

分区说明

物化视图的分区有两种方式：

  1. 自定义分区

  2. 依赖基表的分区自动创建分区

自定义分区

创建物化视图的时候不指定分区信息，物化视图就会默认创建一个分区，所有数据都存放在这个分区中。

依赖基表进行分区

物化视图可以通过多个基表 Join 关联创建。

物化视图能选择追随其中一个基表进行分区（建议选择事实表）。

例如

t1 的建表语句如下：

  1. CREATE TABLE `t1` (
  2.   `user_id` LARGEINT NOT NULL,
  3.   `o_date` DATE NOT NULL,
  4.   `num` SMALLINT NOT NULL
  5. ) ENGINE=OLAP
  6. COMMENT 'OLAP'
  7. PARTITION BY RANGE(`o_date`)
  8. (
  9. PARTITION p20170101 VALUES [('2017-01-01'), ('2017-01-02')),
  10. PARTITION p20170102 VALUES [('2017-01-02'), ('2017-01-03')),
  11. PARTITION p20170201 VALUES [('2017-02-01'), ('2017-02-02'))
  12. )
  13. DISTRIBUTED BY HASH(`user_id`) BUCKETS 2
  14. PROPERTIES ('replication_num' = '1') ;

t2 的建表语句如下：

  1. CREATE TABLE `t2` (
  2.   `user_id` LARGEINT NOT NULL,
  3.   `age` SMALLINT NOT NULL
  4. ) ENGINE=OLAP
  5. PARTITION BY LIST(`age`)
  6. (
  7.     PARTITION `p1` VALUES IN ('1'),
  8.     PARTITION `p2` VALUES IN ('2')
  9. )
  10. DISTRIBUTED BY HASH(`user_id`) BUCKETS 2
  11. PROPERTIES ('replication_num' = '1') ;

如果物化视图的建表语句如下，那么物化视图 mv1 将和 t1 一样，有三个分区：

  • [(‘2017-01-01’), (‘2017-01-02’))
  • [(‘2017-01-02’), (‘2017-01-03’))
  • [(‘2017-02-01’), (‘2017-02-02’))
  1. CREATE MATERIALIZED VIEW mv1
  2. BUILD DEFERRED REFRESH AUTO ON MANUAL
  3. partition by(`order_date`)
  4. DISTRIBUTED BY RANDOM BUCKETS 2
  5. PROPERTIES (
  6. 'replication_num' = '1'
  7. )
  8. AS
  9. SELECT t1.o_date as order_date, t1.user_id as user_id, t1.num, t2.age FROM t1 join t2 on t1.user_id=t2.user_id;

如果如果物化视图的建表语句如下，那么物化视图 mv2 将和 t2 一样，有两个分区：

  • (‘1’)
  • (‘2’)
  1. CREATE MATERIALIZED VIEW mv2
  2. BUILD DEFERRED REFRESH AUTO ON MANUAL
  3. partition by(`age`)
  4. DISTRIBUTED BY RANDOM BUCKETS 2
  5. PROPERTIES (
  6. 'replication_num' = '1'
  7. )
  8. AS
  9. SELECT t1.o_date as order_date, t1.user_id as user_id, t1.num, t2.age FROM t1 join t2 on t1.user_id=t2.user_id;

基表有多列分区

目前仅支持 Hive 外表有多列分区。

Hive 外表有很多多级分区的情况，例如一级分区按照日期，二级分区按照区域。

物化视图可以选择 Hive 的某一级分区列作为物化视图的分区列。

例如 hive 的建表语句如下：

  1. CREATE TABLE hive1 (
  2. `k1` int)
  3. PARTITIONED BY (
  4. `year` int,
  5. `region` string)
  6. STORED AS ORC;
  8. alter table hive1 add if not exists
  9. partition(year=2020,region="bj")
  10. partition(year=2020,region="sh")
  11. partition(year=2021,region="bj")
  12. partition(year=2021,region="sh")
  13. partition(year=2022,region="bj")
  14. partition(year=2022,region="sh")

如果物化视图的创建语句如下，那么物化视图 mv_hive 将有如下三个分区：

  • (‘2020’)
  • (‘2021’)
  • (‘2022’)
  1. CREATE MATERIALIZED VIEW mv_hive
  2. BUILD DEFERRED REFRESH AUTO ON MANUAL
  3. partition by(`year`)
  4. DISTRIBUTED BY RANDOM BUCKETS 2
  5. PROPERTIES ('replication_num' = '1')
  6. AS
  7. SELECT k1,year,region FROM hive1;

如果物化视图的建表语句如下，那么物化视图 mv_hive2 将有如下两个分区：

  • (‘bj’)
  • (‘sh’)
  1. CREATE MATERIALIZED VIEW mv_hive2
  2. BUILD DEFERRED REFRESH AUTO ON MANUAL
  3. partition by(`region`)
  4. DISTRIBUTED BY RANDOM BUCKETS 2
  5. PROPERTIES ('replication_num' = '1')
  6. AS
  7. SELECT k1,year,region FROM hive1;

仅使用基表部分分区

注意：2.1.1 开始支持

有些基表有很多分区，但是物化视图只关注最近一段时间的“热”数据，那么可以使用此功能。

如果基表的建表语句如下

  1. CREATE TABLE t1 (
  2.     `k1` INT,
  3.     `k2` DATE NOT NULL
  4. ) ENGINE=OLAP
  5. DUPLICATE KEY(`k1`)
  6. COMMENT 'OLAP'
  7. PARTITION BY range(`k2`)
  8. (
  9. PARTITION p26 VALUES [("2024-03-26"),("2024-03-27")),
  10. PARTITION p27 VALUES [("2024-03-27"),("2024-03-28")),
  11. PARTITION p28 VALUES [("2024-03-28"),("2024-03-29"))
  12. )
  13. DISTRIBUTED BY HASH(`k1`) BUCKETS 2
  14. PROPERTIES (
  15. 'replication_num' = '1'
  16. );

如果物化视图的创建语句如下，代表物化视图只关注最近一天的数据，如果当前时间为 2024-03-28 xx:xx:xx，这样物化视图会仅有一个分区 [(“2024-03-28”),(“2024-03-29”))

  1. CREATE MATERIALIZED VIEW mv1
  2. BUILD DEFERRED REFRESH AUTO ON MANUAL
  3. partition by(`k2`)
  4. DISTRIBUTED BY RANDOM BUCKETS 2
  5. PROPERTIES (
  6. 'replication_num' = '1',
  7. 'partition_sync_limit'='1',
  8. 'partition_sync_time_unit'='DAY'
  9. )
  10. AS
  11. SELECT * FROM t1;

如果时间又过了一天，当前时间为 2024-03-29 xx:xx:xx，t1 新增一个分区 [(“2024-03-29”),(“2024-03-30”))，如果此时刷新物化视图，刷新完成后，物化视图会仅有一个分区 [(“2024-03-29”),(“2024-03-30”))

如果分区字段是字符串类型，可以设置物化视图属性’partition_date_format’,例如’%Y-%m-%d’

分区上卷

基表的数据经过聚合后，每个分区的数据可能变的很少，这种情况下，可以使用分区上卷，减少物化视图的分区数量。

List 分区

注：Hive 分区对应 Apache Doris 的 List 分区。

如果基表建表语句如下

  1. CREATE TABLE `t1` (
  2.   `k1` INT NOT NULL,
  3.   `k2` DATE NOT NULL
  4. ) ENGINE=OLAP
  5. DUPLICATE KEY(`k1`)
  6. COMMENT 'OLAP'
  7. PARTITION BY list(`k2`)
  8. (
  9. PARTITION p_20200101 VALUES IN ("2020-01-01"),
  10. PARTITION p_20200102 VALUES IN ("2020-01-02"),
  11. PARTITION p_20200201 VALUES IN ("2020-02-01")
  12. )
  13. DISTRIBUTED BY HASH(`k1`) BUCKETS 2
  14. PROPERTIES ('replication_num' = '1') ;

如果物化视图创建语句如下，那么物化视图有两个分区：

  • (“2020-01-01”,”2020-01-02”)
  • (“2020-02-01”)
  1. CREATE MATERIALIZED VIEW mv1
  2.     BUILD DEFERRED REFRESH AUTO ON MANUAL
  3.     partition by (date_trunc(`k2`,'month'))
  4.     DISTRIBUTED BY RANDOM BUCKETS 2
  5.     PROPERTIES (
  6.     'replication_num' = '1'
  7.     )
  8.     AS
  9.     SELECT * FROM t1;

如果如果物化视图创建语句如下，那么物化视图有一个分区：

  • (“2020-01-01”,”2020-01-02”,”2020-02-01”)
  1. CREATE MATERIALIZED VIEW mv1
  2.     BUILD DEFERRED REFRESH AUTO ON MANUAL
  3.     partition by (date_trunc(`k2`,'year'))
  4.     DISTRIBUTED BY RANDOM BUCKETS 2
  5.     PROPERTIES (
  6.     'replication_num' = '1'
  7.     )
  8.     AS
  9.     SELECT * FROM t1;
range 分区

如果基表建表语句如下

  1. CREATE TABLE `t1` (
  2.   `k1` LARGEINT NOT NULL,
  3.   `k2` DATE NOT NULL
  4. ) ENGINE=OLAP
  5. DUPLICATE KEY(`k1`)
  6. COMMENT 'OLAP'
  7. PARTITION BY range(`k2`)
  8. (
  9. PARTITION p_20200101 VALUES [("2020-01-01"),("2020-01-02")),
  10. PARTITION p_20200102 VALUES [("2020-01-02"),("2020-01-03")),
  11. PARTITION p_20200201 VALUES [("2020-02-01"),("2020-02-02"))
  12. )
  13. DISTRIBUTED BY HASH(`k1`) BUCKETS 2
  14. PROPERTIES ('replication_num' = '1') ;

如果物化视图创建语句如下，那么物化视图有两个分区：

  • [(“2020-01-01”,”2020-02-01”))
  • [(“2020-02-01”,”2020-03-01”))
  1. CREATE MATERIALIZED VIEW mv1
  2.     BUILD DEFERRED REFRESH AUTO ON MANUAL
  3.     partition by (date_trunc(`k2`,'month'))
  4.     DISTRIBUTED BY RANDOM BUCKETS 2
  5.     PROPERTIES (
  6.     'replication_num' = '1'
  7.     )
  8.     AS
  9.     SELECT * FROM t1;

如果物化视图创建语句如下，那么物化视图有一个分区：

  • [(“2020-01-01”,”2021-01-01”))
  1. CREATE MATERIALIZED VIEW mv1
  2.     BUILD DEFERRED REFRESH AUTO ON MANUAL
  3.     partition by (date_trunc(`k2`,'year'))
  4.     DISTRIBUTED BY RANDOM BUCKETS 2
  5.     PROPERTIES (
  6.     'replication_num' = '1'
  7.     )
  8.     AS
  9.     SELECT * FROM t1;

注意：分区是字符串时，上卷的方式还在设计中。现在的行为有可能变动，最好不要使用。

数据刷新

刷新原理

物化视图是按照分区为单位进行刷新的，如果物化视图没有指定分区，那么每次都刷新物化视图的默认分区，相当于刷新物化视图的全部数据。

触发机制

物化视图有三种触发刷新机制

手动触发

用户通过 SQL 语句触发物化视图的刷新，目前有三种策略：

  1. 不关心具体刷新哪些分区，要求刷新完成后，物化视图的数据和基表保持同步。
  1. REFRESH MATERIALIZED VIEW mvName AUTO;
  1. 不管物化视图现存哪些数据，刷新物化视图的所有分区
  1. REFRESH MATERIALIZED VIEW mvName COMPLETE;
  1. 不管物化视图现存哪些数据，只刷新指定的分区
  1. REFRESH MATERIALIZED VIEW mvName partitions(partitionName1,partitionName2);

partitionName 可以通过 show partitions from mvName 获取。

定时触发

通过物化视图的创建语句指定间隔多久刷新一次数据

  1. 如果物化视图的创建语句如下，要求全量刷新（refresh complete），那么物化视图每 10 小时刷新一次，并且刷新物化视图的所有分区。
  1. CREATE MATERIALIZED VIEW mv1
  2. REFRESH COMPLETE ON SCHEDULE EVERY 10 hour
  3. partition by(`xxx`)
  4. AS
  5. select ...;
  1. 如果物化视图的创建语句如下，要求全量刷新（refresh auto），那么物化视图每 10 小时刷新一次，并且自动计算需要刷新的分区（2.1.3 开始能自动计算 Hive 需要刷新的分区）。
  1. CREATE MATERIALIZED VIEW mv1
  2. REFRESH AUTO ON SCHEDULE EVERY 10 hour
  3. partition by(`xxx`)
  4. AS
  5. select ...;

自动触发

注意：2.1.4 开始支持

基表数据发生变更后，自动触发相关物化视图刷新，刷新的分区范围同定时触发。

如果物化视图的创建语句如下，那么当 t1 的数据发生变化，会自动触发物化视图的刷新。

  1. CREATE MATERIALIZED VIEW mv1
  2. REFRESH ON COMMIT
  3. partition by(`xxx`)
  4. AS
  5. select ... from t1;

数据湖支持情况

Catalog 类型全量刷新分区刷新触发刷新
Internal2.1支持2.1支持2.1.4支持
Hive2.1支持2.1支持不支持
Iceberg2.1支持不支持不支持
Paimon2.1支持不支持不支持
Hudi2.1支持不支持不支持
JDBC2.1支持不支持不支持
ES2.1支持不支持不支持

权限说明

  • 创建物化视图： 物化视图的创建权限（同建表一样）以及创建物化视图查询语句的查询权限（同 SELECT ）
  • 删除物化视图： 物化视图的删除权限（同删除表一样）
  • 修改物化视图： 物化视图的修改权限（同修改表一样）
  • 暂停/恢复/取消/刷新：物化视图的创建权限

问题定位

定位手段

olapTable 的常用命令都适用于物化视图，例如show partitions，desc table，show data等。

物化视图独有的命令主要有以下几个：

查看物化视图元信息

mv_infos()

重点关注以下字段：

  • State：如果变为 SCHEMA_CHANGE，代表基表的 Schema 发生了变化，此时物化视图将不能用来透明改写 (但是不影响直接查询物化视图)，下次刷新任务如果执行成功，将恢复为 NORMAL。
  • SchemaChangeDetail：SCHEMA_CHANGE 发生的原因
  • RefreshState: 物化视图最后一次任务刷新的状态，如果为FAIL，代表执行失败，可以通过 tasks() 进一步定位
  • SyncWithBaseTables: 是否和基表数据同步，如果不同步，可通过 show partitions 进一步判断哪个分区不同步

查看物化视图的 Task

tasks(“type”=”mv”)

重点关注以下字段：

  • Status：如果为 FAILED，代表运行失败，可通过 ErrorMsg 查看失败原因，也可通过 LastQueryId 来搜索 Apache Doris 的日志，获取更详细的错误信息
  • ErrorMsg：失败原因
  • DurationMs：Task 运行耗时
  • TaskContext：Task 上下文，可看到 Task 的触发信息
  • RefreshMode：COMPLETE 代表刷新了全部分区，PARTIAL 代表刷新了部分分区，NOT_REFRESH 代表不需要刷新任何分区

常见问题

  1. 物化视图是如何判断需要刷新哪些分区的？

    doris 内部会计算物化视图和基表的分区对应关系，并且记录上次刷新成功之后物化视图使用的基表分区版本，例如物化视图 mv1 由基表 t1 和 t2 创建，并且依赖 t1 进行分区

    假设 mv1 的分区 p202003 对应基表 t1 的分区 p20200301 和 p20200302，那么刷新 p202003 之后，会记录分区 p20200301，p20200302，以及表 t2 的当前版本

    下次刷新时，会判断 p20200301，p20200302 以及 t2 的版本是否发生变化，如果其中之一发生了变化，代表 p202003 需要刷新

    当然如果业务上能接受 t2 的变化，不触发 mv1 的刷新，可以通过物化视图的属性excluded_trigger_tables来设置

  2. 物化视图占用资源过多，影响其他业务怎么办？

    可以通过物化视图的属性指定workload_group来控制物化视图刷新任务的资源

    使用时需要注意，如果内存设置的太小，单个分区刷新又需要的内存较多，任务会刷新失败。需要根据业务情况进行权衡

  3. 能基于物化视图创建新的物化视图么

    能。2.1.3 开始支持。但是刷新数据的时候，每个物化视图都是单独的刷新逻辑

    例如 mv2 基于 mv1 创建，mv1 基于 t1 创建

    那么 mv2 刷新的时候不会考虑 mv1 相对于 t1 数据是否同步

  4. 都支持哪些外表？

    doris 支持的所有外表都能用于创建物化视图，但是目前仅有 hive 支持分区刷新，后续会陆续支持

  5. 物化视图显示和 hive 数据一致，但是实际上不一致

    物化视图仅能保证物化视图的数据和通过 Catalog 查询的结果一致

    Catalog 有一定的元数据，数据缓存。

    如果想物化视图和 Hive 数据一致，需要通过 Refresh Catalog 等方式，确保 Catalog 的数据和 Hive 的数据一致

  6. 物化视图支持 Schema Change 么？

    不支持修改，因为物化视图的列属性是根据物化视图定义 SQL 推导出来的。目前不支持显示的自定义修改

  7. 物化视图使用的基表允许 Schema Change 么？

    允许。但是变更之后，使用到该基表的物化视图的 State 会由 NORMAL 变为 SCHEMA_CHANGE，此时物化视图将不能被用来透明改写，但是不影响直查物化视图

    如果物化视图下次刷新任务成功，那么 State 会由 SCHEMA_CHANGE 变回 NORMAL

  8. 主键模型的表能用来创建物化视图么？

    物化视图对基表的数据模型没有要求。但是物化视图本身只能是明细模型。

  9. 物化视图上还能建索引么？

    能

  10. 物化视图刷新的时候会锁表么？

    很小的阶段会锁表，不会持续的占用表锁（几乎等同于导入数据的锁表时间）

  11. 物化视图适合近实时场景么？

    不太适合。物化视图刷新的最小单位是分区，如果数据量较大会占用较多的资源，并且不够实时。可以考虑同步物化视图或其他手段。

使用场景

查询加速

对于 BI 报表场景以及其他加速场景，查询通常是多张表进行 Join 计算，之后进行聚合计算，用户对于查询的响应时间敏感，一般需要在秒级别返回多条查询结果，会消耗大量计算资源，并且有时很难保证预期的响应时间，此时多表物化视图可以解决此问题。

物化视图对于加速重复有规律的查询很有效。物化视图视图支持直查，也支持透明改写，透明改写指的是使用一组物化视图，优化器根据改写算法和代价模型自动选择可用的最优物化视图来响应查询。

使用物化视图的预计算结果来响应查询。极大地降低了表连接和聚合操作使用的资源，减少查询响应时间。

数据湖加速

需求背景

很多用户有基于 Apache Doris 进行联邦数据查询的需求，Apache Doris 的多源数据目录（Multi-Catalog）功能让这件事变的很方便，只要创建一个 Catalog，无须把数据迁移到 Apache Doris，就可以通过 Apache Doris 对外部数据进行查询

痛点

但是这也会造成一些问题，因为查询外部数据的速度可能会收到网络及第三方服务的影响，又可能会很慢，对于响应速度要求比较高的场景，很难满足需求

如何实现外表的查询加速

异步物化视图可以基于外部 Catalog 来创建，但是物化视图本身的数据是存在 Apache Doris 内部的，所以查询物化视图的速度会很快。因此，对于响应速度要求比较高的场景，我们可以基于外部 Catalog 创建一个物化视图

数据建模

有些场景，用户会使用事实表和维度表加工成一张汇总表，之后对此汇总表进行 Ad hoc 查询，此汇总表也可作为基础指标表用于后续的建模。

此时可以利用物化视图对基表的数据进行建模。之后，还可以利用创建好的物化视图创建更高层级的物化视图（2.1.3 支持），灵活满足不同的需求。

不同层级的物化视图都可以自己设置刷新方式，例如：

  • 第一层的物化视图可以设置为定时刷新，第二层的设置为触发刷新，那么第一层的物化视图刷新完成后，会自动触发第二层物化视图的刷新。
  • 每层的物化视图都设置为定时刷新，那么第二层物化视图刷新的时候，不会考虑第一层的物化视图数据是否和基表同步，只会把第一层物化视图的数据加工后同步到第二层。

物化视图和 Olap 的关系

注意：2.1.4 版本开始支持。

物化视图底层是一个 Duplicate 模型的 Olap 表。

理论上支持 Duplicate 模型的所有功能，但是物化视图为了能正常高效刷新数据，所以对功能做了一些限制：

  1. 物化视图的分区是基于基表自动创建维护的，所以不能对物化视图进行分区操作
  2. 由于物化视图背后有相关的 Job 要处理，所以不能用删除 Table 或重命名 Table 的命令操作物化视图，需要使用物化视图自身的命令
  3. 物化视图的 Column 是根据查询语句推导出来的，所以不能修改，否则会导致物化视图的刷新任务失败
  4. 物化视图有一些 Duplicate Table 没有的 Property，这部分 Property 需要通过物化视图的命令进行修改，其他公用的 Property 需要用 Alter Table 进行修改
  5. 目前不能对异步物化视图创建 ROLLUP，但是能创建索引
  6. desc，show partitions 等命令同样适用于物化视图

物化视图的使用

请参阅 查询异步物化视图

注意事项