深度学习优化算法总结

　　本文基于目前深度学习中使用较多的优化学习算法进行总结。javascript 1 深度学习中的优化算法 　　优化算法以前讨论两个问题： 　　(1) 局部最小值问题 　　在深度学习中，最优化问题其实并不容易困在局部最小值点。在高维度空间时（如20000维），局部最小值点须要在全部维度上都取得最小值，几率为2−200002−20000 ，相反更容易困在鞍点处。 　　同时平稳端（plateaus）也会

>>阅读原文<<