数据开发

概述

完成数据集成后，可以对FDP数据平台中的数据根据不同业务规则进行加工，从而发现其价值，主要步骤为数据清洗与数据萃取，以下章节详细描述具体操作步骤。

数据清洗

离线数据清洗

1. 离线数据清洗任务配置时，任务节点所属工作流周期选择单次任务或周期任务。

2. 拖拽锚点可创建新的节点任务，选择数据清洗，进入参数填写页面。

3. 步骤一：对所要创建表类型，表名称，加载策略等基本信息进行填写，填写完毕后，点击下一步，进行步骤二和步骤三。

4. 步骤二/步骤三：对数据来源表（主模型）以及通过填写过滤条件对数据范围进行确定，在步骤三中可点击新增关联模型按钮，来选择与主模型关联的关联模型和关联方式，过滤条件对关联模型的数据范围进行筛选。配置完成后点击确认按钮，在列表中可查看、配置、删除已配置的关联模型。点击配置按钮，将主模型与关联模型关联条件进行设置。如果存在变更情况，需删除原配置关系，再进行重新配置新的关联关系。

5. 步骤四：完成关联模型配置后，点击下一步，配置目标模型字段。左侧同步模型字段列表中含主模型+关联模型所有字段，下侧填写过滤条件对主模型和关联模型的数据集，进行过滤。右侧目标模型字段可由左侧同步模型字段同步，亦可点击下侧添加按钮进行新建字段。确定目标模型所有字段后，点击右侧功能按钮，对字段描述、类型、计算逻辑等信息进行编辑。最后，点击上方SQL预览按钮，查看目标模型生成SQL逻辑，查看无误后，点击完成按钮，生成所创建的数据清洗节点。

实时数据清洗

1. 实时数据清洗任务配置时，任务节点所属工作流周期选择实时任务。

2. 拖拽锚点可创建新的节点任务，选择数据清洗，目前实时数据清洗仅支持自定义编辑操作。

3. 填写实时清洗节点节点名称、CPU、表名称等基础信息。

4. 在自定义文本编辑中书写Flink-SQL逻辑，书写语法及参数配置可参考Flink官网。

5. 操作演示

数据萃取

离线数据萃取

1. 离线数据萃取任务配置时，任务节点所属工作流周期选择单次任务或周期任务。

2. 拖拽锚点可创建新的节点任务，选择数据萃取，进入参数填写页面。

3. 步骤一：对所要创建表类型，表名称，加载策略等基本信息进行填写，填写完毕后，点击下一步，进行步骤二和步骤三。

4. 步骤二/步骤三：对数据来源表（主模型）以及通过填写过滤条件对数据范围进行确定，在步骤三中可点击新增关联模型按钮，来选择与主模型关联的关联模型和关联方式，过滤条件对关联模型的数据范围进行筛选。配置完成后点击确认按钮，在列表中可查看、配置、删除已配置的关联模型。点击配置按钮，将主模型与关联模型关联条件进行设置。如果存在变更情况，需删除原配置关系，再进行重新配置新的关联关系。

5. 步骤四：完成关联模型配置后，点击下一步，配置目标模型字段。左侧同步模型字段列表中含主模型+关联模型所有字段，下侧填写过滤条件对主模型和关联模型的数据集，进行过滤。右侧目标模型字段可由左侧同步模型字段同步，亦可点击下侧添加按钮进行新建字段。确定目标模型所有字段后，点击右侧功能按钮，对字段描述、类型、计算逻辑等信息进行编辑。最后，点击上方SQL预览按钮，查看目标模型生成SQL逻辑，查看无误后，点击完成按钮，生成所创建的数据萃取节点。

实时数据萃取

1. 实时数据萃取任务配置时，任务节点所属工作流周期选择实时任务。

2. 拖拽锚点可创建新的节点任务，选择数据清洗，目前实时数据萃取仅支持自定义编辑操作。

3. 填写实时萃取节点节点名称、CPU、表名称等基础信息。

4. 在自定义文本编辑中书写Flink-SQL逻辑，书写语法及参数配置可参考Flink官网。

数据导出

离线数据导出

1. 离线数据导出任务配置时，任务节点所属工作流周期选择单次任务或周期任务。

2. 拖拽锚点可创建新的节点任务，选择数据导出。

3. 填写数据导出节点基础信息。

1. 填写配置信息参数

1. 完成基础信息和配置信息参数填写后，可在左下角点击编辑按钮对每一个字段进行质量规则的配置，质量规则详情参考上述质量规则操作。

2. 最后点击确认按钮完成数据导出节点配置。

实时数据导出

实时任务配置时，任务节点所属工作流周期选择实时任务。

1. 拖拽锚点可创建新的节点任务，选择数据导出，目前实时数据导出仅支持自定义编辑操作。
2. 实时导出书写语法及参数配置可参考flink官网。