深度学习中的优化问题

文章目录 1、优化问题简介及挑战 一、优化问题简介 二、优化问题中的两个挑战 (a)、局部最小值 (b)、鞍点 2、各类参数优化算法 一、Mini-batch SGD + LR Decay 二、Adagrad 三、Adadelta 四、RMSProp 五、Momentum（动量法） 六、Adam 3、优化算法总结 4、参考资料 1、优化问题简介及挑战 一、优化问题简介 绝大多数深度学习中的目标函数

>>阅读原文<<