gbdt回归

功能介绍

  • gbdt(Gradient Boosting Decision Trees)回归，是经典的基于boosting的有监督学习模型，可以用来解决回归问题

  • 支持连续特征和离散特征

  • 支持数据采样和特征采样

参数说明

名称 中文名称 描述 类型 是否必须？ 默认值
learningRate 学习率 学习率（默认为0.3） Double 0.3
minSumHessianPerLeaf 叶子节点最小Hessian值 叶子节点最小Hessian值（默认为0） Double 0.0
numTrees 模型中树的棵数 模型中树的棵数 Integer 100
minSamplesPerLeaf 叶节点的最小样本个数 叶节点的最小样本个数 Integer 100
maxDepth 树的深度限制 树的深度限制 Integer 6
subsamplingRatio 每棵树的样本采样比例或采样行数 每棵树的样本采样比例或采样行数，行数上限100w行 Double 1.0
featureSubsamplingRatio 每棵树特征采样的比例 每棵树特征采样的比例，范围为(0, 1]。 Double 1.0
groupCol 分组单列名 分组单列名，可选 String null
maxBins 连续特征进行分箱的最大个数 连续特征进行分箱的最大个数。 Integer 128
featureCols 特征列名 特征列名，必选 String[] ✓
labelCol 标签列名 输入表中的标签列名 String ✓
categoricalCols 离散特征列名 可选，默认选择String类型和Boolean类型作为离散特征，如果没有则为空 String[]
weightCol 权重列名 权重列对应的列名 String null
maxLeaves 叶节点的最多个数 叶节点的最多个数 Integer 2147483647
minSampleRatioPerChild 子节点占父节点的最小样本比例 子节点占父节点的最小样本比例 Double 0.0
minInfoGain 分裂的最小增益 分裂的最小增益 Double 0.0

参数建议

对于训练效果来说，比较重要的参数是 树的棵树+学习率、叶子节点最小样本数、单颗树最大深度、特征采样比例。

单个离散特征的取值种类数不能超过256，否则会出错。

脚本示例

  1. import numpy as np
  2. import pandas as pd
  3. from pyalink.alink import *
  6. def exampleData():
  7.     return np.array([
  8.         [1.0, "A", 0, 0, 0],
  9.         [2.0, "B", 1, 1, 0],
  10.         [3.0, "C", 2, 2, 1],
  11.         [4.0, "D", 3, 3, 1]
  12.     ])
  15. def sourceFrame():
  16.     data = exampleData()
  17.     return pd.DataFrame({
  18.         "f0": data[:, 0],
  19.         "f1": data[:, 1],
  20.         "f2": data[:, 2],
  21.         "f3": data[:, 3],
  22.         "label": data[:, 4]
  23.     })
  26. def batchSource():
  27.     return dataframeToOperator(
  28.         sourceFrame(),
  29.         schemaStr='''
  30.     f0 double, 
  31.     f1 string, 
  32.     f2 int, 
  33.     f3 int, 
  34.     label int
  35.     ''',
  36.         op_type='batch'
  37.     )
  40. def streamSource():
  41.     return dataframeToOperator(
  42.         sourceFrame(),
  43.         schemaStr='''
  44.     f0 double, 
  45.     f1 string, 
  46.     f2 int, 
  47.     f3 int, 
  48.     label int
  49.     ''',
  50.         op_type='stream'
  51.     )
  54. trainOp = (
  55.     GbdtRegTrainBatchOp()
  56.     .setLearningRate(1.0)
  57.     .setNumTrees(3)
  58.     .setMinSamplesPerLeaf(1)
  59.     .setLabelCol('label')
  60.     .setFeatureCols(['f0', 'f1', 'f2', 'f3'])
  61. )
  63. predictBatchOp = (
  64.     GbdtRegPredictBatchOp()
  65.     .setPredictionCol('pred')
  66. )
  68. (
  69.     predictBatchOp
  70.     .linkFrom(
  71.         batchSource().link(trainOp),
  72.         batchSource()
  73.     )
  74.     .print()
  75. )
  77. predictStreamOp = (
  78.     GbdtRegPredictStreamOp(
  79.         batchSource().link(trainOp)
  80.     )
  81.     .setPredictionCol('pred')
  82. )
  84. (
  85.     predictStreamOp
  86.     .linkFrom(
  87.         streamSource()
  88.     )
  89.     .print()
  90. )
  92. StreamOperator.execute()

脚本结果

批预测结果

  1.     f0 f1  f2  f3  label  pred
  2. 0  1.0  A   0   0      0   0.0
  3. 1  2.0  B   1   1      0   0.0
  4. 2  3.0  C   2   2      1   1.0
  5. 3  4.0  D   3   3      1   1.0

流预测结果

  1.     f0    f1    f2    f3    label    pred
  2. 0    1.0    A    0    0    0    0.0
  3. 1    3.0    C    2    2    1    1.0
  4. 2    2.0    B    1    1    0    0.0
  5. 3    4.0    D    3    3    1    1.0