实验

对比实验

详细的实验脚本和输出日志部分请参考 repo.

数据集

我们使用4个数据集进行对比实验，有关数据的细节在下表列出：

硬件环境

我们使用一台Linux服务器作为实验平台，具体配置如下：

底层

我们使用 xgboost 作为底层算法。

并且 xgboost 和 LightGBM 都基于 OpenMP 构建。

设置

我们为该实验建立了3个设置 ， 这些设置的参数如下:

1. xgboost:

   eta = 0.1
   max_depth = 8
   num_round = 500
   nthread = 16
   tree_method = exact
   min_child_weight = 100

2. xgboost_hist (使用直方图算法):

   eta = 0.1
   num_round = 500
   nthread = 16
   tree_method = approx
   min_child_weight = 100
   tree_method = hist
   grow_policy = lossguide
   max_depth = 0
   max_leaves = 255

3. LightGBM:

   learning_rate = 0.1
   num_leaves = 255
   num_trees = 500
   num_threads = 16
   min_data_in_leaf = 0
   min_sum_hessian_in_leaf = 100

xgboost 通过 max_depth 对建树进行深度限制与模型复杂度控制 。

LightGBM 通过 num_leaves 执行带深度限制的 leaf-wise 叶子生长策略与模型复杂度控制。

因此我们无法设置完全相同的模型进行比较。为了相对权衡， 我们在xgboost中设置 max_depth=8 以使叶子数量达到最大数量 255 与 LightGBM 中设置 num_leves=255 进行比较。

其他参数皆为默认值

结论

效率

为了比较效率, 我们只运行没有任何测试或者度量输出的训练进程，并且我们不计算 IO 的时间。

如下是耗时的对比表格：

我们发现在所有数据集上 LightGBM 都比 xgboost 快。

准确率

为了比较准确率, 我们使用数据集测试集部分的准确率进行公平比较。

内存消耗

我们在运行训练任务时监视 RES，并在 LightGBM 中设置 two_round=true （将增加数据载入时间，但会减少峰值内存使用量，不影响训练速度和准确性）以减少峰值内存使用量。

并行测试

数据集

我们使用 terabyte click log 数据集进行并行测试，详细信息如下表：

该数据集包含了 24 天点击记录，其中有 13 个整数特征与 26 个类别特征。

我们统计了该数据集 26 个类别前十天的点击率和计数，使用接下来十天的数据作为训练集并且该训练集中类别已与点击率和计数相对应。

处理后的训练集共有 17 亿条数据和 67 个特征。

环境

我们使用了 16 台 Windows 服务器作为实验平台，详细信息如下表：

设置：

learning_rate = 0.1
num_leaves = 255
num_trees = 100
num_thread = 16
tree_learner = data

我们在此使用并行数据，因为该数据集数据量大但是特征少。

其他参数皆为默认值

结论

从结果看，我们发现 LightGBM 在并行学习中需要线性加速。

GPU 实验

参考 GPU 性能.