Manager 插件

总览

Inlong 设计初衷即是为了在不同数据源之间创建数据流,截止目前,Inlong 已经支持多种常用数据源的读取和写入,如 MySQL, Apache Kafka, ClickHouse 等, 详细内容可参考 数据节点。 InLong 的每种数据节点,支持通过 Manager 提供统一的管理,以简化用户的使用。 本文介绍通过 Manager 如何扩展一个新的数据节点,实现提供服务。

扩展读取节点

  • 首先需要在 Sort 组件内支持该数据源,详情参考 Sort 插件
  • 在枚举类org.apache.inlong.common.enums.TaskTypeEnum中增加对应的枚举
  • 在枚举类org.apache.inlong.manager.common.enums.SourceType中同样增加对应枚举
  • org.apache.inlong.manager.common.pojo.source路径下创建文件夹,创建对应实体类
  • org.apache.inlong.manager.service.source路径下,创建对应工具类
  • 支持数据源到ExtractNode的转换函数,参考 org.apache.inlong.manager.service.sort.util.ExtractNodeUtils

扩展写入节点

  • 首先需要在 Sort 组件内支持该数据源,详情参考 Sort 插件
  • 在枚举类org.apache.inlong.manager.common.enums.SinkType中增加对应枚举
  • org.apache.inlong.manager.common.pojo.sink路径下创建文件夹, 创建对应实体类
  • org.apache.inlong.manager.service.sink路径下创建对应工具类
  • 支持数据源到LoadNode的转换函数,参考代码 org.apache.inlong.manager.service.sort.util.LoadNodeUtils