总览

总览

1 Linkis的设计初衷

大数据开源生态圈几乎每个组件都有自己的一套用户权限管理、资源管理、元数据管理、独立的API接入方式和使用方式。

而且各种新的组件还在不断出现。

但是，用户的业务需求通常需要多个开源组件协同处理才能实现。

为了一个业务需求，用户需要学习多个产品的使用手册，需要在多个产品上做重复的定制化开发，才能真正将开源组件引入到实际的生产环境中。

这给用户带来了极其高昂的学习成本和额外工作量，运维方面也需要大量重复的维护管理工作。

同时，上层的功能工具产品和底层的计算存储系统耦合度过高，层次结构、调用关系不够清晰和解耦，导致底层环境一旦发生任何改变，都会直接影响业务产品的正常使用。

如何提供一套统一的数据中间件，对接上层应用工具，屏蔽掉底层的各种调用和使用细节，真正做到让业务用户只需关注业务实现细节，就算底层大数据平台机房扩建、整体搬迁都不受影响，是Linkis的设计初衷！

2 Linkis的技术架构

如上图所示，我们基于目前流行的SpringCloud微服务技术，新建了多个微服务集群，来提供高可用能力。

每个微服务集群各自承担系统的一部分功能职责，我们对其进行了如下明确的划分。如：

统一作业执行服务：一个分布式的REST/WebSocket服务，用于接收用户提交的各种脚本请求。

目前支持的计算引擎有：Spark、Python、TiSpark、Hive和Shell等。

支持的脚本语言有：SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等；

更多关于统一作业执行服务的信息，请查看UJES架构设计文档
资源管理服务：支持实时管控每个系统和用户的资源使用情况，限制系统和用户的资源使用量和并发数，并提供实时的资源动态图表，方便查看和管理系统和用户的资源；

目前已支持的资源类型：Yarn队列资源、服务器（CPU和内存）、用户并发个数等。

更多关于资源管理服务的信息，请查看RM架构设计文档
应用管理服务(开源版本暂无)：管理所有系统的所有用户应用，包括离线批量应用、交互式查询应用和实时流式应用，为离线和交互式应用提供强大的复用能力，并提供应用全生命周期管理，自动释放用户多余的空闲应用；
统一存储服务：通用的IO架构，能快速对接各种存储系统，提供统一调用入口，支持所有常用格式数据，集成度高，简单易用；

更多统一存储服务的信息，请查看[Storage架构设计文档]
统一上下文服务：统一用户和系统资源文件（JAR、ZIP、Properties等），用户、系统、计算引擎的参数和变量统一管理，一处设置，处处自动引用；
物料库：系统和用户级物料管理，可分享和流转，支持全生命周期自动管理；
元数据服务：实时的库表结构和分区情况展示。