ChunJun节点

综述

ChunJun 任务类型，用于执行 ChunJun 程序。对于 ChunJun 节点，worker 会通过执行 ${CHUNJUN_HOME}/bin/start-chunjun 来解析传入的 json 文件。

创建任务

  • 点击项目管理 -> 项目名称 -> 工作流定义，点击“创建工作流”按钮，进入 DAG 编辑页面；
  • 拖动工具栏的ChunJun - 图1 任务节点到画板中。

任务参数

任务参数描述
自定义模板自定义 ChunJun 节点的 json 配置文件内容，当前支持此种方式。
jsonChunJun 同步的 json 配置文件。
自定义参数用户自定义参数，会替换脚本中以 ${变量} 的内容。
部署方式执行ChunJun任务的方式，比如local，standalone等。
选项参数支持 -confProp “{\”flink.checkpoint.interval\”:60000}” 格式。

任务样例

该样例演示为从 Hive 数据导入到 MySQL 中。

在 DolphinScheduler 中配置 ChunJun 环境

若生产环境中要是使用到 ChunJun 任务类型，则需要先配置好所需的环境。配置文件如下：/dolphinscheduler/conf/env/dolphinscheduler_env.sh。

chunjun_task01

当环境配置完成之后，需要重启 DolphinScheduler。

配置 ChunJun 任务节点

从 Hive 中读取数据，所以需要自定义 json，可参考：Hive Json Template