功能概述

点击【数据集】,进入数据集设计模块,可以从【数据源】中选择数据表,添加表的关联关系,以及设置定时任务更新数据等管理数据集。

数据集管理

点击【aws】分组,查看该分组下的数据集,功能如下:
【序号1】搜索功能区,可输入关键字搜索,快速锁定目标表;
【序号2】数据预览、数据关联、以及数据更新等操作功能区;
【序号3】添加数据集,点击可添加新数据集;
【序号4】数据集字段删减、字段重命名等。

场景主页面

1 添加数据集

1.1 添加【数据库数据集】

如下图所示,点击【添加数据集】并选择【数据库数据集】,展开下拉框,选择数据源、数据源的连接方式、并勾选需要添加的数据库表。

数据库数据集

需注意两种连接方式的差异:
一、【直连】,那么直接访问底层数据源,数据始终是最新的。

数据库数据集

二、【定时刷新】,可设置数据关联,以及通过定时任务或手动方式更新数据。

数据库数据集

1.2 添加【SQL数据集】

如下图所示,点击【添加数据集】并选择【SQL数据集】。
【序号1】位置输入即将添加的数据集名称;
【序号2】位置为SQL语句输入区,在此区域输入正确的sql语句;
【序号3】点击可展示预览数据;
【序号4】点击后提交,SQL数据集生成成功。
支持两种连接方式:直连和定时缓存,具体使用与【数据集数据集】一致

添加SQL数据集

1.3 添加【Excel数据集】

如下图所示,点击【添加数据集】并选择【Excel数据集】,点击【上传文件】,选择Excel文件后,Excel数据展示在【数据预览】区,若预览符合预期,点击【确认】,生成Excel数据集。

添加Excel数据集

1.4 添加【自定义数据集】

如下图所示,点击【添加数据集】并选择【自定义数据集】,从已添加的数据集中,做数据字段的删减操作,从而衍生出的新数据集即为自定义数据集,可在下图所示位置为自定义数据集命名,以及选择数据字段,并在右侧预览,若与预期一致,点击【确认】,自定义数据集生成成功。

添加自助数据集

2 数据集设计

2.1 数据集预览

点击左侧数据表,右侧默认展示预览数据。

请注意两种连接模式的差异
一、如果数据集为【直连】模式,那么没有【数据关联】和【更新信息】模块,数据实时更新;

数据预览 二、如果数据集为【定时刷新】模式,那么可通过【数据关联】设置数据集间关联关系,也可通过【更新信息】刷新数据。

数据预览

2.2 数据关联

点击左侧数据表(定时缓存模式下),右侧默认展示预览数据,可点击【关联视图】,切换至关联视图页面,如下图所示,可点击【添加关联】、【编辑】、【删除】,添加、编辑、删除关联关系。

关联视图

2.2.1 添加关联

点击【添加关联】,进入关联添加页面,如下图所示,左侧选择关联字段,右侧选择被关联字段,中间可选择关联关系(左连接:LEFT JOIN、内连接:INNER JOIN、右连接:RIGHT JOIN),当关联字段,被关联字段和关联关系均被选择后,点击【确认】,关联关系创建成功。

增加关联

2.2.2 编辑关联

点击关联关系右侧的【编辑】,进入关联编辑页面,如下图所示,左侧选择关联字段,右侧选择被关联字段,中间可选择关联关系(左连接:LEFT JOIN、内连接:INNER JOIN、右连接:RIGHT JOIN),当关联字段,被关联字段和关联关系均被选择后,点击【确认】,关联关系修改成功。

编辑关联

2.2.2 删除关联

使用方式,请查阅通用功能 「删除」

2.3 更新信息

点击左侧数据表(定时缓存模式下),右侧默认展示预览数据,可点击【更新信息】,切换至更新信息页面,可点击【更新设置】设置定时任务;点击【刷新】,刷新下方任务列表。
请注意
,如果数据集是首次添加,而且是【定时同步】模式,那么需要设置定时任务刷新数据至缓存区,否则无法用此数据集创建数据关联和视图。

更新信息

2.3.1 更新设置

点击【更新设置】,进入更新设置页面,如下图,可以通过点击【添加任务】增加新任务,也可以编辑和删除任务,【增量更新方式】,选择同步数据的增量方式,若勾选增量添加,那么数据增量添加;若勾选增量删除,那么对数据实行增量删除。同时也可在在【参数】区域,输入sql语句的时间参数。

更新设置

2.3.2 添加任务

设置任务名称,更新方式(有全量更新、增量更新两种方式),选择任务的开始时间,结束时间,以及执行频率(支持三种设置方式,立即执行、简单重复、表达式设定),任务信息添加完毕后,点击确认任务添加成功。

添加任务

2.3.3 增量更新

如下图所示,增量更新方式选择【增量添加】,在输入框中输入sql语句,并拖拉参数【上次更新时间】,即更新数据的方式为:把订单时间大于上次更新时间的订单数据抽取至缓存区。

增量添加

2.3.4 增量删除

如下图所示,增量更新方式选择【增量删除】,在输入框中输入sql语句,并拖拉参数【上次更新时间】,即更新数据的方式为:把订单时间大于上次更新时间的订单数据从缓存区删除。

增量删除

3 数据集字段编辑

如下图所示,点击选中左侧数据表后,点击右上角”编辑字段”按钮,跳转至字段编辑页面

编辑字段功能入口

字段编辑页面,如下图所示,可以修改字段类型,修改字段名称,以及删减字段(不需要的字段不勾选)、字段切换为维度或指标等

数据集设计