梯度下降法的优化算法

如前文梯度下降法中所介绍的，梯度下降法存在如下问题导致其迭代的可行性和效率大打折扣： （1）梯度不存在； （2）非凸函数的鞍点和局部最优解； （3）函数的信息利用率不高； （4）学习率需预设且取值固定。 本文提到的梯度下降法的优化算法指：针对问题（2）、（3）和（4）提出的基于梯度下降法的Moment、AdaGrad和Adam等一系列算法。而这系列算法的核心改良思路包括两点： （1）通过引入历史迭

>>阅读原文<<