深度学习优化算法总结

　　本文基于目前深度学习中使用较多的优化学习算法进行总结。 1 深度学习中的优化算法 　　优化算法之前讨论两个问题： 　　(1) 局部最小值问题 　　在深度学习中，最优化问题其实并不容易困在局部最小值点。在高维度空间时（如20000维），局部最小值点需要在所有维度上都取得最小值，概率为 2−20000 2 − 20000 ，相反更容易困在鞍点处。 　　同时平稳端（plateaus）也会使得学习变慢

>>阅读原文<<