名称解释
名词解释
Flink
Apache Flink,一种分布式、高性能、高可用且准确的开源流处理框架
UDF
User Defined Function,用户自定义函数,通常适用于SQL任务
Spark
Apache Spark,一种开源的,专为大规模数据处理而设计的快速通用的计算引擎
DAG
DAG: 全称Directed Acyclic Graph,简称DAG。如果一个有向图从任意顶点出发无法经过若干条边回到该点,则这个图是一个有向无环图。任务可以通过上下游以有向无环图的形式组装起来
任务
指用户在Taier中开发的具体任务, 如Spark SQL 或数据同步任务
实例
实例是根据任务配置的周期实例生成的实例任务
上下游任务
A任务成功的执行完成后,B、C任务才可以执行,这种行为称之为B、C依赖于A;在这个例子中,A是B、C的上游任务,B、C是A的下游任务。
杀任务
终止某个任务实例的运行
重跑任务
重新运行某个任务
补数据
当任务由于某些原因,修改了业务逻辑时,或发生异常,用户希望对以前的数据重新进行计算,此时会使用补数据
功能,即手动配置任务的数据源时间段,令其再次运行
业务日期
可理解为业务发生的日期,在Taier中,业务日期=任务的定时执行时间-1天
模块介绍
- taier-common: 公共类模块
- taier-dao: 数据库相关操作模块
- taier-data-develop: 任务开发,运维中心,控制台等逻辑处理等功能模块
- taier-scheduler: 处理任务实例生成,实例调度,dag图的维护模块
- taier-worker: 任务提交模块
- taier-ui: 前端模块