总览 Spark 引擎 Hive 引擎 Python 引擎 Shell 引擎 JDBC 引擎

改写引擎 正确性改写 标识符改写 补列 分页修正 批量拆分 优化改写 单节点优化 流式归并优化 改写引擎 工程师面向逻辑库与逻辑表书写的 SQL，并不能够直接在真实的数据库中执行，SQL 改写用于将逻辑 SQL 改写为在真实数据库中可以正确执行的 SQL。 它包括正确性改写和优化改写两部分。 正确性改写 在包含分表的场景中，需要将分...

路由引擎 分片路由 直接路由 标准路由 笛卡尔路由 广播路由 全库表路由 全库路由 全实例路由 单播路由 阻断路由 路由引擎 根据解析上下文匹配数据库和表的分片策略，并生成路由路径。 对于携带分片键的 SQL，根据分片键的不同可以划分为单片路由（分片键的操作符是等号）、多片路由（分片键的操作符是 IN）和范围路由（分片键的操作符是 ...

存储引擎 关系数据库 Redis boltdb 存储引擎 dtm支持将全局事务的状态与进度保存到三类存储：关系数据库（mysql/postgres）、Redis、boltdb，这三种存储分别适合不同的场景，下面分别介绍如下 关系数据库 互联网里的几乎每个公司，都会将数据存储在关系数据库，因此dtm最早支持了关系型数据库的存储，包括： My...

解析引擎 抽象语法树 SQL 解析引擎 历史 功能点 API使用 解析引擎 相对于其他编程语言，SQL 是比较简单的。 不过，它依然是一门完善的编程语言，因此对 SQL 的语法进行解析，与解析其他编程语言（如：Java 语言、C 语言、Go 语言等）并无本质区别。 抽象语法树 解析过程分为词法解析和语法解析。 词法解析器用于将 SQL 拆...

引擎模块 功能 引擎日志输出 构建时常量 执行环境 调试级别 平台标识 调试模式下的输出 引擎模块 引擎通过模块向开发者暴露功能接口，模块以 ECMAScript 模块形式存在。 ⚠️ 注意，从 v3.0 开始，将不能通过全局变量 cc 访问引擎功能！ 功能 模块 'cc' 提供了所有引擎功能的访问。模块 'cc' 的内容是...

Shell 引擎 Shell 引擎 本文主要介绍在Linkis1.X中，Shell引擎的配置、部署和使用。 如果您希望在您的服务器上使用shell引擎，您需要保证用户的PATH中是有bash的执行目录和执行权限。 环境变量名 环境变量内容 备注 sh执行环境 bash环境变量 建议使用bash 表1-1 环境配置清单 Shell引擎不需要用户...

Hive 引擎 Hive 引擎 本文主要介绍在Linkis1.X 中，Hive引擎的配置、部署和使用。 如果您希望在您的服务器上使用hive引擎，您需要保证以下的环境变量已经设置正确并且引擎的启动用户是有这些环境变量的。 强烈建议您在执行hive任务之前，检查下执行用户的这些环境变量。 环境变量名 环境变量内容 备注 JAVA_HOME JDK安...

Spark 引擎 Spark 引擎 本文主要介绍在Linkis1.X中，spark引擎的配置、部署和使用。 如果您希望在您的服务器上使用spark引擎，您需要保证以下的环境变量已经设置正确并且引擎的启动用户是有这些环境变量的。 强烈建议您在执行spark任务之前，检查下执行用户的这些环境变量。 环境变量名 环境变量内容 备注 JAVA_HOME ...

执行引擎 连接模式 内存限制模式 连接限制模式 自动化执行引擎 准备阶段 执行阶段 执行引擎 ShardingSphere 采用一套自动化的执行引擎，负责将路由和改写完成之后的真实 SQL 安全且高效发送到底层数据源执行。 它不是简单地将 SQL 通过 JDBC 直接发送至数据源执行；也并非直接将执行请求放入线程池去并发执行。它更关注平衡...