神经网络之优化方法

1、前言     神经网络的优化方法有很多，前面学习了神经网络参数的初始化方法，好的初始化方法可以让网络训练的更快，也可能让网络收敛的更好。同样，好的优化方法同样具有这样的作用。注意：谈论优化方法时候，并没有修改损失函数，只是修改了网络学习过程中参数的更新方法。     之前经常使用梯度下降法来优化网络，今天学习了梯度下降法的几个改进版本：Momentum、RMSprop、Adam     网络学

>>阅读原文<<