深度学习中的最优化问题

  1. 深度学习中最优化问题很重要，代价也很高，因此需要开发一组专门的优化技术。

  2. 在深度学习领域，即使在数据集和模型结构完全相同的情况下，选择不同的优化算法可能导致截然不同的训练效果。

    甚至相同的优化算法，但是选择了不同的参数初始化策略，也可能会导致不同的训练结果。