神经网络优化——梯度下降常用算法：随机梯度下降、批处理梯度下降、Moment、move average、RMSprop、Adma

神经网络优化——梯度下降常用算法：min-batch、随机梯度下降（SGD）、批量梯度下降、Momentum、move average、RMSprop、Adma 简介 梯度下降算法是应用于神经网络反向传播过程的计算梯度，然后更新参数,最终找到最优的位置。本博客主要介绍随机梯度下降、批处理梯度下降、Momentum、move average、RMSprop、Adma。也是对Andrew NG 的de

>>阅读原文<<