深度模型中的优化与参数初始化方法

基本的优化算法 Batch GD SGD SGD with 动量 SGD with Nesterov动量 自适应学习率算法 AdaGrad RMSProp RMSProp with Nesterov Adam: Adaptive Moments 比较与选择 它们之间的关系如下： 对于如何选择没有达成共识，但结果表明具有自适应学习率的算法族表现得相当鲁邦，不分伯仲。目前，最流行且使用很高的优化算包括

>>阅读原文<<