Doris 通过类似 LSM-Tree 的结构写入数据,在后台通过 Compaction 机制不断将小文件合并成有序的大文件,同时也会处理数据的删除、更新等操作。适当的调整 Compaction 的策略,可以极大地提升导入效率和查询效率。 Doris 提供如下几种 compaction 方式进行调优:

Vertical compaction

Compaction 优化 - 图1备注

自 Doris 1.2.2 版本起支持 Vertical compaction

Vertical compaction 是 Doris 1.2.2 版本中实现的新的 Compaction 算法,用于解决大宽表场景下的 Compaction 执行效率和资源开销问题。可以有效降低 Compaction 的内存开销,并提升 Compaction 的执行速度。

实际测试中,Vertical compaction 使用内存仅为原有 compaction 算法的 1/10,同时 compaction 速率提升 15%。

Vertical compaction 中将按行合并的方式改变为按列组合并,每次参与合并的粒度变成列组,降低单次 compaction 内部参与的数据量,减少 compaction 期间的内存使用。

开启和配置方法 (BE 配置):

  • enable_vertical_compaction = true 可以开启该功能

  • vertical_compaction_num_columns_per_group = 5 每个列组包含的列个数,经测试,默认 5 列一组 compaction 的效率及内存使用较友好

  • vertical_compaction_max_segment_size 用于配置 vertical compaction 之后落盘文件的大小,默认值 268435456(字节)

Segment compaction

Segment compaction 主要应对单批次大数据量的导入场景。和 Vertical compaction 的触发机制不同,Segment compaction 是在导入过程中,针对一批次数据内,多个 Segment 进行的合并操作。这种机制可以有效减少最终生成的 Segment 数量,避免 -238(OLAP_ERR_TOO_MANY_SEGMENTS)错误的出现。 Segment compaction 有以下特点:

  • 可以减少导入产生的 segment 数量

  • 合并过程与导入过程并行,不会额外增加导入时间

  • 导入过程中的内存和计算资源的使用量会有增加,但因为平摊在整个导入过程中所以涨幅较低

  • 经过 Segment compaction 后的数据在进行后续查询以及标准 compaction 时会有资源和性能上的优势

开启和配置方法 (BE 配置):

  • enable_segcompaction = true 可以使能该功能

  • segcompaction_batch_size 用于配置合并的间隔。默认 10 表示每生成 10 个 segment 文件将会进行一次 segment compaction。一般设置为 10 - 30,过大的值会增加 segment compaction 的内存用量。

如有以下场景或问题,建议开启此功能:

  • 导入大量数据触发 OLAP_ERR_TOO_MANY_SEGMENTS (errcode -238) 错误导致导入失败。此时建议打开 segment compaction 的功能,在导入过程中对 segment 进行合并控制最终的数量。

  • 导入过程中产生大量的小文件:虽然导入数据量不大,但因为低基数数据,或因为内存紧张触发 memtable 提前下刷,产生大量小 segment 文件也可能会触发 OLAP_ERR_TOO_MANY_SEGMENTS 导致导入失败。此时建议打开该功能。

  • 导入大量数据后立即进行查询:刚导入完成、标准 compaction 还没有完成工作时,此时 segment 文件过多会影响后续查询效率。如果用户有导入后立即查询的需求,建议打开该功能。

  • 导入后标准 compaction 压力大:segment compaction 本质上是把标准 compaction 的一部分压力放在了导入过程中进行处理,此时建议打开该功能。

不建议使用的情况:

  • 导入操作本身已经耗尽了内存资源时,不建议使用 segment compaction 以免进一步增加内存压力使导入失败。

关于 segment compaction 的实现和测试结果可以查阅此链接

单副本 compaction

默认情况下,多个副本的 compaction 是独立进行的,每个副本在都需要消耗 CPU 和 IO 资源。开启单副本 compaction 后,在一个副本进行 compaction 后,其他几个副本拉取 compaction 后的文件,因此 CPU 资源只需要消耗 1次,节省了 N - 1 倍 CPU 消耗( N 是副本数)。

单副本 compaction 在表的 PROPERTIES 中通过参数 enable_single_replica_compaction 指定,默认为 false 不开启,设置为 true 开启。

该参数可以在建表时指定,或者通过 ALTER TABLE table_name SET("enable_single_replica_compaction" = "true") 来修改。

Compaction 策略

Compaction 策略决定什么时候将哪些小文件合并成大文件。Doris 当前提供了 2种 compaction 策略,通过表属性的 compaction_policy 参数指定。

size_based compaction 策略

size_based compaction 策略是默认策略,对大多数场景适用。

  1. "compaction_policy" = "size_based"

time_series compaction 策略

time_series compaction 策略是为日志、时序等场景优化的策略。它利用时序数据具有时间局部性的特点,将相邻时间写入的小文件合并成大文件,每个文件只会参与一次 compaction 就合并成比较大的文件,减少反复 compaction 带来的写放大。

  1. "compaction_policy" = "time_series"

time_series compaction 策略在下面 3 个条件任意一个满足的时候触发小文件合并:

  • 未合并的文件大小超过 time_series_compaction_goal_size_mbytes (默认 1GB)
  • 未合并的文件个数超过 time_series_compaction_file_count_threshold (默认 2000)
  • 距离上次合并的时间超过 time_series_compaction_time_threshold_seconds (默认 1小时)

上述参数在表的 PROPERTIES 中设置,可以在建表时指定,或者通过 ALTER TABLE table_name SET("name" = "value") 修改。

Compaction 并发控制

Compaction 在后台执行需要消耗 CPU 和 IO 资源,可以通过控制 compaction 并发线程数来控制资源消耗。

compaction 并发线程数在 BE 的配置文件中配置,包括下面几个:

  • max_base_compaction_threads:base compaction 的线程数,默认是 4
  • max_cumu_compaction_threads:cumulative compaction 的线程数,默认是 -1,表示每块盘 1 个线程
  • max_single_replica_compaction_threads:单副本 compaction 拉取数据文件的线程数,默认是 10