减少可避免偏差的技术

如果你的学习算法存在着很高的可避免偏差,你可能会尝试以下方法:

  • 加大模型规模(例如神经元/层的数量):这项技术能够使算法更好地拟合训练集,从而减少偏差。当你发现这样做会增大方差时,通过加入正则化可以抵消方差的增加。
  • 根据误差分析结果修改输入特征:假设误差分析结果鼓励你增加额外的特征,从而帮助算法消除某个特定类别的误差。(我们会在接下来的章节深入讨论这个话题。)这些新的特征对处理偏差和方差都有所帮助。理论上,添加更多的特征将增大方差;当这种情况发生时,你可以加入正则化来抵消方差的增加。
  • 减少或者去除正则化(L2 正则化,L1 正则化,dropout):这将减少可避免偏差,但会增大方差。
  • 修改模型架构(比如神经网络架构)使之更适用于你的问题:这将同时影响偏差和方差。

有一种方法并不能奏效:

  • 添加更多的训练数据:这项技术可以帮助解决方差问题,但它对于偏差通常没有明显的影响。