基础操作
新建命名空间
操作步骤:
- 登录快数据平台(当前位于默认空间下)。
点击默认空间,打开空间管理。
点击左上角新建工作空间,输入工作空间名称及别名。
- 点击确认完成创建。
注意:
- 当前工作空间别名所创建的全部数据模型,与该存储、计算空间下工作空间别名的数据模型具有映射关系。
- 删除工作空间时,如该工作空间存在工作流,则不能删除该工作空间。
新建数据标识
FDP 平台中数据标识分为数据源,数据模型,工作流三种类型,有助于您在开发过程中对不同业务含义的数据源,数据模型及工作流任务进行分类,进行高效的管理。
- 点击新建标识选项。
输入标识名称。
选择所属模块及标识颜色。
- 点击确定。
新建队列
- 选择队列管理进行新增队列。
- 填写队列设置参数。(详情可参考,用户指南中队列管理—链接)
参数 | 说明 | 是否必填项 |
---|---|---|
队列名称 | 队列名称 | 是 |
最大分配CPU | 整个队列可用的CPU资源 | 是 |
最大分配内存 | 整个队列可用的内存资源 | 是 |
队列策略 | 默认FIFO | 是 |
默认优先级 | 数字越大,优先级越高 | 是 |
并行度 | 并行度默认值10(0表示该队列不调度任务) | 是 |
点击编辑与右侧删除,可对已创建工作流进行更改与删除。
点击使用详情,可查看每一队列中工作流执行情况及资源使用情况。(详情可参考,用户指南中队列管理—链接)
工作流创建
- 点击工作流管理新增按钮可创建工作流文件夹进行分类和管理其目录下的工作流任务。
新建文件夹后,点击右侧功能按钮可对文件夹下进行创建工作流,创建子目录,删除工作流等该功能。
点击添加工作流进行创建一个新的工作流,填写参数。
参数 | 说明 | 是否必填项 |
---|---|---|
名称 | 创建工作流名称 | 是 |
描述 | 工作流描述 | 否 |
周期 | 工作流执行周期:单次任务/周期任务/实时任务 | 是 |
执行时间 | 工作流执行时间 | 否 |
参数设置 | 定义参数,传参给工作流任务(如:pt_date=${yyyy-MM-dd-1}) | 否 |
工作流标签 | 工作流标识(配置方式参考4.3.3.2) | 是 |
依赖工作流 | 配置该工作流所依赖的一个或多个工作流。当前面一个或多个完成后,才能执行该工作流。 | 否 |
提交队列 | 选择已创建队列,该工作流执行时,使用该队列分配的资源 | 是 |
任务优先级 | 用数值来表示任务执行优先级,数值越大表示,优先级约高 | 否 |
所属目录 | 默认位于当前目录 | 是 |
填写参数完毕后,点击确认,您的一个工作流已创建完成,右上角编辑按钮可进行工作流信息更新
在下列视图模块,点击编辑视图后,可通过拖拉节点,创建数据开发任务。
最后点击立即执行,执行将开始运行,在工作流明细可查看工作流执行运行的历史情况。
质量规则配置
您可进入数据治理平台->质量规则,配置规则信息。
- 点击右上方新增规则,进行参数填写。
参数 | 说明 | 是否必填项 |
---|---|---|
规则名称 | 规则名称 | 是 |
规则类型 | 规则类型(如小于、大于、等于) | 是 |
规则内容 | 规则逻辑填写(如>3) | 是 |
规则描述 | 规则描述 | 否 |
- 右侧编辑、删除按钮可对已配置规则进行管理。