Release 1.1.0
关键特性
分类 | 特性 | PR #s |
---|---|---|
启发式索引 | Btree索引-BTree索用于Split过滤,并且只能使用在Coordinator节点上,如果对作为查询谓词一部分的某一列创建索引,那么openLooKeng可以在执行的过程中通过索引来过滤掉Split,从而提高查询性能。 | 392,437,452,457 |
Bitmap索引-Bitmap索引用于读取ORC文件时过滤数据,并且只能使用在Worker节点上。Bitmap索引必须在高基数的列上创建。在这个发布版本中,对Bitmap索引进行了增强,将关键字存储在一个BTree中来加快关键字的查找,索引的创建以及减少索引的大小。 | 437,418,435,407,390 | |
高性能 | 五个性能提升的特性: · 窗口函数的性能提升; · 将动态过滤等待时间修改为基于在Worker上的任务调度时间,而不包含花费在计划的时间; · 在Semi-join上使用动态过滤; · 实现Left-join转换成Semi-join的优化规则; · 实现Self-join转换成Group-by的优化规则。 | 429,366,385,406,391,330,446,382 |
很多的小Split会影响openLooKeng的查询性能,因为需要对这些Split进行调度,这样会导致更多的调度开销,完成的任务更少,并且每个Split的等待被读取的时间也会增加,为避免这种情况,使用合并小Split特性将小Split组合在一起,作为单个Split一起调度。 | 387 | |
交换复用特性引入了一个查询优化器,在一次查询中,一个表的数据被这条语句中的多个投影或过滤多次使用时,该特性会在内存中缓存该表数据来降低查询时间。 | 443 | |
连接器 | 新增支持openGauss 数据源 | 492 |
新增支持MongoDB 数据源 | 464 | |
重构ElasticSearch 连接器以兼容7.x版本 | 380 | |
新增Oracle连接器文档,并支持Oracle同义词特性。 | 380,487 | |
增强Hive 连接器以支持用户透传(impersonation) | 454 | |
ODBC语法兼容性能力增强 | 15,10,19,12,21,22 | |
DC 连接器 | 跨DC场景下动态过滤下推特性增强 | 402,419 |
用户体验 | 提供全新的WEB UI, 包含在线SQL编辑器和系统状态监控 | 163,368,404 |
简化配置项 | 397,369,449 | |
安全 | 支持与Apache Ranger 集成以实现统一的权限控制 | 491 |
已知问题
分类 | 描述 | Gitee问题 |
---|---|---|
DC连接器 | 分层的数据中心模型中,分层大于3层,开启动态过滤的耗时可能会比关闭动态过滤的耗时更长,由于过滤的列不是高基数的,会导致过滤效果变差,所以需要引入更高效的过滤器。 | I2BAZZ |
启发式索引 | 当删除index的时候,原HDFS上的文件夹并没有被删除,但里面的文件被删除。 | I2BB1N |
创建Index 并使用谓词‘or’ 时,显示的错误信息与实际功能不一致。这是因为缓存失效了,并且所有的Catalog、Schema、Table、Column信息被重新刷新导致。 | I2BB3O | |
对事务分区表创建BTree索引后,不能过滤Split。 | I2BB6M | |
WEB UI | 点击刷新按钮后需要元数据树的相应时间很长。 | I2BB2B |
如果有很多计划信息,文字会溢出文字区域。 | I2BB4E | |
安装 | 使用自动部署脚本,系统会使用旧的配置,没有任何提示,这样会误导用户。 | I2BB52 |
Vacuum | 如果对已执行删除/更新操作的表多次运行vacuum操作,则统计信息可能会被损坏,并导致查询将失败。为了避免这种情况,请在运行vaccum命令前将会话标志hive.collect_column_statistics_on_write设置为false (set session hive.collect_column_statistics_on_write=false )。如果在运行该命令时没有设置上述参数flag,执行ANALYZE <表名>命令进行统计信息修正。PR 517已修改,未合入1.1.0版本 | I2BFH9 |
Reuse Exchange | 当在config.properties中启用Reuse Exchange特性(reuse_table_scan=true)时,查询非hive catalog会失败。建议在查询hive catalog时使用(设置session reuse_table_scan=true;),其他catalog时禁用。PR 516已修改,未合入1.1.0版本。 | I2BEWV |
获取文档
请参考:https://gitee.com/openlookeng/hetu-core/tree/1.1.0/hetu-docs/zh