Spark 引擎参数调整

本文介绍如何对 Spark 引擎进行参数调整。

用户可以根据需求在管理台调整 Spark 参数。Linkis 管理台 ==》 参数设置 ==》 选择相应应用 ==》 点击 Spark 引擎会显示 Spark 可设置的参数。

Spark 引擎参数调整 - 图1

如果想要引擎执行的更快,可以调整执行器个数,执行器核心个数越多执行效率越高。

Spark 引擎参数调整 - 图2

如果需要拉取大数据再 Driver 处理,需要调整驱动内存参数。

Spark 引擎参数调整 - 图3