基本概念

NameDescriptionOther
Standard标准架构，包含 InLong Agent、Manager、MQ、Sort、Dashboard 等所有 InLong 组件同时支持数据接入、数据同步和数据订阅
Lightweight轻量化架构，只包含 InLong Sort 一个组件，也可以搭配 Manager，Dashboard 一起使用轻量化架构简单、灵活，只支持数据同步
数据接入数据接入是将数据从数据源汇聚到同一个存储服务的过程，可用于进一步数据查询和分析
数据同步数据同步是建立数据源和目标数据存储之间一致性的过程，可随着时间持续协调数据
数据订阅数据订阅为订阅者提供他们有权访问的数据
Group数据流组，包含多个数据流，一个 Group 代表一个数据业务单元Group 有 ID、Name 等属性
Stream数据流，一个数据流有具体的数据源、数据格式和数据流向Stream 有 ID、Name、数据字段等属性
Node数据节点，包括 Extract Node 和 Load Node，分别代表数据源类型和数据流向目标类型
InLongMsgInLong 数据格式，如果从消息队列中直接消费，需要先进行 InLongMsg 解析
Cluster集群，每个组件都可以构成单一集群。包含集群名、标签，每个组件必要信息等
Tag标签，不同组件的集群可以使用相同标签，代表一组数据流执行单元目前标签只适用于集群
Agent标准架构使用 Agent 进行数据采集，Agent 代表不同类型的采集能力包含文件 Agent、SQL Agent、Binlog Agent 等
DataProxy将接收到的数据转发到不同的消息队列支持数据发送阻塞和落盘重发
Sort数据流分拣主要有基于 Flink 的 sort-flink，sort-standalone 本地分拣
TubeMQInLong 自带的消息队列服务也可以叫 Tube，拥有低成本、高性能特性
Pulsar即 Apache Pulsar，高性能、高一致性消息队列服务