总览

背景

Linkis0.X的架构主要存在以下问题

1.核心处理流程和层级模块边界模糊

  • Entrance 和 EngineManager 功能边界模糊

  • 任务提交执行主流程不够清晰

  • 扩展新引擎较麻烦，需要实现多个模块的代码

  • 只支持计算请求场景，存储请求场景和常驻服务模式（Cluster）难以支持

2.更丰富强大计算治理功能需求

  • 计算任务管理策略支持度不够

  • 标签能力不够强大，制约计算策略和资源管理

Linkis1.0计算治理服务的新架构可以很好的解决这些问题。

架构图

总览 - 图1

作业流程优化： Linkis1.0将优化Job的整体执行流程，从提交 —> 准备 —> 执行三个阶段，来全面升级Linkis的Job执行架构，如下图所示：

总览 - 图2

架构说明

1、Entrance

Entrance作为计算类型任务的提交入口，提供任务的接收、调度和Job信息的转发能力，是从Linkis0.X的Entrance拆分出来的原生能力；

进入Entrance架构设计

2、Orchestrator

Orchestrator 作为准备阶段的入口，从 Linkis0.X 的 Entrance 继承了解析Job、申请Engine和提交执行的能力；同时，Orchestrator将提供强大的编排和计算策略能力，满足多活、主备、事务、重放、限流、异构和混算等多种应用场景的需求。

3、LinkisManager

LinkisManager作为Linkis的管理大脑，主要由AppManager、ResourceManager、LabelManager和EngineConnPlugin组成。

  1. ResourceManager 不仅具备 Linkis0.X 对 Yarn 和 Linkis EngineManager的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让ResourceManager具备跨集群、跨计算资源类型的全资源管理能力；

  2. AppManager 将统筹管理所有的 EngineConnManager 和 EngineConn，EngineConn 的申请、复用、创建、切换、销毁等生命周期全交予 AppManager 进行管理；而 LabelManager 将基于多级组合标签，提供跨IDC、跨集群的 EngineConn 和 EngineConnManager 路由和管控能力；

  3. EngineConnPlugin 主要用于降低新计算存储的接入成本，真正做到让用户只需要实现一个类，就能接入一个全新的计算存储引擎。

    进入LinkisManager架构设计

4、EngineConnManager

EngineConnManager (简称ECM)是 Linkis0.X EngineManager 的精简升级版。Linkis1.0下的ECM去除了引擎的申请能力，整个微服务完全无状态，将聚焦于支持各类 EngineConn 的启动和销毁。

进入EngineConnManager架构设计

5、EngineConn

EngineConn 是 Linkis0.X Engine 的优化升级版本，将提供 EngineConn 和 Executor 两大模块，其中 EngineConn 用于连接底层的计算存储引擎，提供一个打通了底层各计算存储引擎的 Session 会话；Executor 则基于这个 Session 会话，提供交互式计算、流式计算、离线计算、数据存储的全栈计算能力支持。

进入EngineConn架构设计