Release 1.2.0

关键特性

分类特性PR #s
启发式索引针对启发式索引做了如下增强:
1. 可以通过配置实现索引的预加载
2. 当索引创建失败时,可以清理残留的索引记录。(之前版本,部分记录可能会残留,需要手动清理)
3. 动态确定索引创建级别(之前版本,对于BtreeIndex用户必须指定level=table或level=partition,现在不再需要)
4. 使用HetuMetastore进行索引元数据管理(删除基于文件的元数据管理)
5. BTreeIndex:重构和支持AND、OR运算符
6. BitmapIndex:支持其他运算符(>、>=、<、<=、IN、Between,请参见文档了解完整列表)
7. 通过TestPrestoServer改进功能自动化测试
646,627,604,
537,609,601,
529,611,600
Star Tree索引提供一种预聚合技术,可以优化冰山查询的延迟。
1. 提供SQL 以管理Cubes(多维数据集)
2. 支持创建分区Cubes
3. 谓词支持为部分数据创建Cubes
4. 针对构建大型Cubes, 支持增量插入
330
性能针对CTE(具有with的语句)进行执行计划优化,使得CTE只被执行一次,并将其流式传输到查询中的其他引用,从而减少该查询所需的计算资源。减少计算资源有助于提高系统的总体并发。623
部分代码和工程化的优化,从而提高数据修改操作的性能614,625,645
Task Recovery支持查询任务重试,当查询任务或者工作节点出现错误导致的查询失败时:
1. 在查询执行期间捕获快照
2. 检测到可恢复故障时,从最近成功的快照恢复查询执行

此功能目前还存在使用上的局限性。请参考相关文档 “管理-可靠查询执行”。当检测到不支持的场景时,会生成警告,并自动关闭该功能。
目前该功能还是一个beta 版本,不建议在生产环境中使用。下方表格中列出了一些已知问题。
663
连接器HBase性能优化。针对单表查询性能的提升,我们新增了分片算法。另外,该优化支持 HBase 访问Snapshot的模式,从而提升多并发查询性能。522,573
支持外部函数(UDF)的注册,也支持将其下推到JDBC数据源。为了让大家拥有更好的体验,用户可以在不迁移自己数据源UDF的情况下,使用已有的UDF, 提高UDF的复用度,使用上更加方便。647
提供全新的算子下推框架,让算子下推过程更加简单灵活和高效。我们希望每个Connector可以参与到执行计划优化中。即引擎在进行执行计划优化时,能够自行应用Connector的优化规则。633
Web UI1、元数据树修改为异步加载,优化定时全量加载导致的UI页面卡顿;
2、优化显示问题,查询历史、查询结果分页显示;
3、新增连接器的参数配置方式优化,无需自定义配置文件;
4、增加节点状态显示;
575,621,641,
679
安全1. 增加行过滤、列掩码和认证用户模拟的权限控制接口,并集成到openLooKeng的Ranger权限管理插件实现对应权限管理;
2. 完善WEB UI登录用户的权限控制,登录用户只能获取本用户的查询记录
3. 实现认证用户映射:定义了从认证系统中的用户到openLooKeng用户的映射规则;对于具有例如alice/server1@example等复杂用户名的Kerberos认证特别重要;
539,586,667

已知问题

分类描述Gitee问题
启发式索引多CN场景下,存在show index行数不正确问题,但不影响index功能I3E3T6
WEB UIschema搜索栏只会在已展开的catalog下搜索schema名I3E3Q3
高并发场景,概率出现任务完成,UI一直显示进度100%I3E3OK
Task RecoveryTask Recovery过程中,恢复异常的worker节点,恢复任务会失败I3CEWB
CTAS创建桶表过程中,kill一个worker节点,恢复任务概率性失败I3E3D8
CTAS创建表过程中,kill一个worker节点,恢复任务概率性失败,报503错误I3E3EH
CTAS创建分区事务表过程中,kill一个worker节点,恢复任务概率性失败I3E3F9
通过Task Recovery成功CTAS表,概率性出现插入行数翻倍问题I3E3IG
通过Task Recovery成功CTAS表,概率性出现插入行数增加问题I3E3JP
跨DC场景,CTAS创建表过程中,kill一个worker节点,恢复任务会失败I3E3T6

获取文档

请参考:https://gitee.com/openlookeng/hetu-core/tree/1.2.0/hetu-docs/zh