八、传统机器学习的挑战

1. 传统机器学习算法的两个困难：

   • 维数灾难：当数据的维数很高时，很多机器学习问题变得相当困难。因为许多传统机器学习算法简单地假设：一个新样本的输出应该大致与最接近的训练样本的输出相同 。

   • 选择性偏好：某些算法偏好于选择某类函数。

     最广泛的隐式偏好是：要学习的函数是平滑的或者局部不变性的。

     这个先验知识表明：要学习的函数不会在一个小区域内发生较大的变化。很多简单算法完全依赖此先验知识来达到良好的泛化。