限制参数调整
本文介绍对于内存、CPU等资源不足时如何进行参数调整。
任务执行过程中报错:错误码 12001,错误信息 队列CPU资源不足,可以调整Spark执行器个数
点击管理台—参数配置—IDE—Spark—显示高级设置—woker引擎资源设置(2)—调整执行器并发数
或者全局设置调整队列资源使用上限。
任务执行过程中报错:错误码 12003,错误信息 队列实例数超过限制
点击管理台—参数配置—全局设置—队列资源—yarn队列实例最大个数[wds.linkis.rm.yarnqueue.instance.max]
任务执行过程中报错:错误码 12004,错误信息 全局驱动器内存使用上限,可以设置更低的驱动内存
点击管理台—参数配置—全局设置—队列资源—队列内存使用上限[wds.linkis.rm.yarnqueue.memory.max]
任务执行过程中报错:错误码 12005,错误信息 超出全局驱动器CPU个数上限,可以清理空闲引擎
点击管理台—参数配置—全局设置—队列资源—全局各个引擎核心个数上限[wds.linkis.rm.client.core.max]
或者通过清理空闲引擎解决。
任务执行过程中报错:错误码 12006,错误信息 超出引擎最大并发数上限,可以清理空闲引擎
点击管理台—参数配置—全局设置—队列资源—全局各个引擎最大并发数[wds.linkis.rm.instance]
Spark 引擎
Hive 引擎
其他引擎设置类似 Spark 和 Hive 引擎。