配置管理
数据标签
平台支持配置三种标签,分别用于数据源、数据模型和工作流,便于分类标记筛选。
进入 数据集成 > 标签管理,点击 新建标签,输入标签名称,选择所属模块及对应颜色。
质量规则
平台支持配置应用于数据模型的质量规则,通过规则客观得到质量分数,从而监控数据质量。
进入 数据治理 > 质量规则,点击 新增规则,输入规则名称、规则内容并选择规则类型。
队列管理
为实现更精细的工作流分配和管理,平台增加了队列的概念。您可将不同的工作流划分至不同的队列中,也可为同一队列中的工作流设置优先级。
进入 数据集成 > 队列管理,点击 新建 创建队列。
CPU/内存
指整个队列可用的资源池大小,用于 Pipeline 拉起任务时作出判断,若当前剩余 CPU/内存小于提交任务所需资源,任务需排队等待。此为虚拟队列,并非实际物理层资源大小。
假设集群资源为 50 核 CPU,100 GB 内存,此处设置队列 CPU 为 100 核,内存 200 GB。您可以成功创建队列,Pipeline 提交的任务也可通过资源检测,但提交至 K8s 集群时,可能因为资源不足导致 Pending 状态。
因此设置队列时,需了解当前集群的资源情况。
默认优先级
指为队列设置的基准线,未选择工作流优先级时,将使用该值作为默认值。
并行度
指 Pipeline 排队检测时,同时运行的任务数最大值。
例如并行度为 10,则当运行任务数小于 10 时,在资源充足的情况下,队列将即刻调度排队中的任务;当运行任务数等于 10 时,需待运行中的任务结束后再行调度排队中的任务。