总览

介绍

InLong Manager 是 Apache InLong 项目的统一管理平台，平台提供各基础配置（如数据流配置、消费配置、集群管理等）的维护入口，用户可创建数据采集任务、查看指标数据等。

模块

模块描述
manager-common模块公共代码，如异常定义、工具类、枚举等
manager-dao数据库操作
manager-service业务逻辑层
manager-workflow工作流服务
manager-pluginsSort 插件服务
manager-web前端交互接口层
manager-client客户端服务
manager-client-examples客户端使用示例
manager-client-tools客户端命令行工具

交互流程

总览 - 图1

数据模型

总览 - 图2 目前 InLong Manager 主要有以下数据模型:

  • InlongGroup: 数据流组，包含多个数据流，一个 InlongGroup 代表一个数据业务单元。
  • InlongStream: 数据流，一个数据流有具体的数据源、数据格式和数据流向。
  • StreamSource: 数据来源，包括文件采集、MySQL 采集等。
  • StreamSink: 数据目标，数据最后流入的节点，包括 Hive、ClickHouse 等。
  • DataNode: 数据节点，包括数据采集地址、用户名、密码等信息。
  • InlongCluster: 集群，包括 Pulsar、TubeMQ、Kafka 等集群信息。