1. 驱动实例
智能钛机器学习平台上有4种驱动方式:手动、定时、参数驱动和重跑。 对同一个工作流来说,这4种驱动方式即不同的实例类型。 在前文已介绍过手动驱动实例,这里就不再赘述,只介绍后3种。
1.1. 定时实例
定时实例是指用户可以设置基于开始时间和调度周期的自动运行策略,到时间后自动生成实例并运行的驱动方式。调试后的工作流可设置定时策略进行例行化运行,具体如下图所示:
- 定时设置后,需要在工作流画布上手动保存后才能生效。
- 设置了定时策略的作业,将使用 online 资源运行,需保障例行化作业的资源配比。
1.2. 参数实例
1.2.1. 参数驱动
在参数实例任务运行前,先需在“参数设置”工具栏中设置参数及其对应初始值。用 key=value 的方式即可(如 a = 1)。
1.2.2. 参数集方式驱动
算法工程师进行模型训练时需要进行大量的参数调试,智能钛机器学习平台提供带参数集的运行功能。用户可以设置数值型和枚举型参数,系统将根据设定的规则生成多个实例,实现不同的参数组合条件下的模型训练。
- 参数设置和初始化(见上一节说明)
- 带参数运行工作流数值型需设定初始值、终值和步长。例如下图示例,初始值为0,终值为5,步长为1,则将产生a值为0、1、2、3、4、5的多个参数实例。枚举型参数需以空格进行分隔。
两种方式生成的实例类型都为“参数驱动”,可进行实例查询和历史实例快照的查询。具体见实例查询章节。
典型参数的使用
参数初始化以后,可以用${参数}
的方式来使用。
如果用户使用 API 方式调用,会使输入的值覆盖默认值,例如调用时使用:runParamFlow.do?paramPackage={'param1':'3','param2':'5'}
,在执行时就能在日志里看到提交的命令行如下:
参数值被替换成了最新传递的参数。
时间参数
时间参数在智能钛机器学习平台上也用得比较多, 可以使用${YYYYMMDD}
的格式进行业务时间的参数传递,对周期工作流来说,${YYYYMMDD}
取的是上一个周期的日期,例如当时时间为2016-08-08 16:00:00,不同的周期和参数传递后取到的值对应关系如下:
周期类型 | 典型参数 | 取值 | 其他说明 | |
---|---|---|---|---|
天 | 间隔1天 | ${YYYYMMDD} | 20160807 | ${YYYYMMDD+1}=20160808 |
间隔3天 | ${YYYYMMDD} | 20160805 | ${YYYYMMDD+1}=20160806 | |
小时 | 间隔1小时 | ${YYYYMMDDHH} | 2016080815 | ${YYYYMMDDHH+1}=2016080816 |
间隔3小时 | ${YYYYMMDDHH} | 2016080813 | ${YYYYMMDDHH+1}=2016080814 | |
月 | 间隔1月 | ${YYYYMMDD} | 20160701 | 月任务的业务日期均是每月的1号 |
分钟 | 间隔10分钟 | ${YYYYMMDDHHFF} | 201608081550 | ${YYYYMMDDHHFF+5}=20160808155 |
间隔30分钟 | ${YYYYMMDDHHFF} | 201608181530 | ${YYYYMMDDHHFF+5}=201608081535 |
- 天任务的小时、分钟、秒都为0。
- 月任务的时间都是每个月的1号。
- 周任务可以使用间隔7天来实现。
1.3. 重跑实例
用户需要对历史某个时段的数据进行重新处理时,在工作流画布页面,选择重跑的时间区间,提交即可。
- 如果当前的流设置了定时策略,重跑的时间设定单位与定时策略保持一致。例如定时策略设置的是每12小时运行一次,重跑的区间也是从开始时间起每12小时运行一次。
- 支持月,周,天,时,分钟为单位的重跑,重跑的单位也一致。
- 对于“等待运行”和“正在运行”状态的重跑实例,如果新提交的请求中有相同数据时间的实例,系统会进行去重处理。
- 单个流的重跑实例数目前上限为50, 超过则不能提交。
- 如果没有设置定时策略,默认的周期为天。