Resource Manager 1. Background 2. The role of RM in Linkis 3. Resource type and format 4. Available resource management 5. Resource Usage Management 6. External resource manag...

数据源接口 queryDataSourceEnv getAllEnvListByDataSourceType insertJsonEnv getEnvEntityById removeEnvEntity updateJsonEnv queryDataSource removeDataSource insertJsonInfo getInfo...

Overview Overview The architecture of Linkis0.X mainly has the following problems The boundary between the core processing flow and the hierarchical module is blurred: Entr...

一、背景 二、思路 三、实现 1. 数据写入Dolphin 2. 读取Dolphin文件 3. 跳读 4. 序列化 一、背景 Linkis面临将多种类型的数据存储到文件里面的需求，如：将Hive表数据存储到文件，并希望能保存字段的类型、列名和comment等元数据信息。 现有的文件存储方案一般只支持特定的数据类型进行存储，如：ORC支持...

网关 Gateway 架构 Gateway 架构设计 简述 整体架构示意图 架构说明 一、请求路由转发（带标签信息） 二、WebSocket连接转发管理 网关 Gateway 架构 Gateway 架构设计 简述 Gateway网关是Linkis接受客户端以及外部请求的首要入口，例如接收作业执行请求，而后将执行请求转发到具体的符合条件的...

网关 Gateway 架构 Gateway 架构设计 简述 整体架构示意图 架构说明 一、请求路由转发（带标签信息） 二、WebSocket连接转发管理 网关 Gateway 架构 Gateway 架构设计 简述 Gateway网关是Linkis接受客户端以及外部请求的首要入口，例如接收作业执行请求，而后将执行请求转发到具体的符合条件的...

结果集文件存储 1 背景 2 思路 3 实现 3.1 数据写入Dolphin 3.2 读取Dolphin文件 3.3 跳读 3.4 序列化 结果集文件存储 结果集文件存储方案——Dolphin文件 1 背景 Linkis面临将多种类型的数据存储到文件里面的需求，如：将Hive表数据存储到文件，并希望能保存字段的类型、列名和com...

网关 Gateway 架构 Gateway 架构设计 简述 整体架构示意图 架构说明 一、请求路由转发（带标签信息） 二、WebSocket连接转发管理 网关 Gateway 架构 Gateway 架构设计 简述 Gateway网关是Linkis接受客户端以及外部请求的首要入口，例如接收作业执行请求，而后将执行请求转发到具体的符合条件的...

CS 清理接口特性 CS 清理接口特性 1.1.3版本前，ContextService 统一上下文服务缺少清理机制，且缺少创建时间、更新时间字段以及批量清理的接口， 在长期累积情况下可能出现百万级数据，影响查询效率。 修改1ContextService底层库表，添加创建时间、修改时间、最后访问时间字段，完成 ContextID和 ContextMa...

版本总览 参数变化 数据库表变化 版本总览 开启 Prometheus 监控 自定义变量设计&内置变量 EngineConn 历史信息记录特性 EngineConn Metrics 上报特性 ContextService 清理接口特性 版本的Release-Notes 参数变化 模块名(服务名) 类型 参数名 默认值 描述 eur...