正则化

1. 正则化常用于缓解模型过拟合。过拟合发生的原因是模型的容量过大，而正则化可以对模型施加某些限制，从而降低模型的有效容量。

2. 目前有多种正则化策略。

   • 有些正则化策略是向模型添加额外的约束，如增加对参数的限制。这是对参数的硬约束。
   • 有些正则化策略是向目标函数增加额外项。这是对参数的软约束。

3. 正则化策略代表了某种先验知识，即：倾向于选择简单的模型。

4. 在深度学习中，大多数正则化策略都是基于对参数进行正则化。正则化以偏差的增加来换取方差的减少，而一个有效的正则化能显著降低方差，并且不会过度增加偏差。

5. 在深度学习的实际应用中，不要因为害怕过拟合而采用一个小模型，推荐采用一个大模型并使用正则化。