神经网络优化算法

提高神经网络训练速率的方式： 1. 采用Mini-batch的方式，不要等到把所有的数据都遍历一遍才更新权重，采用batch的方式的缺点是收敛过程会有震荡的现象的出现，这样有时候就不得不采用比较小的learning rate来使结果收敛到比较好的结果 为了消除Mini-batch的震荡现象，可以采用以下 2. 动量梯度下降法：合成之前的方向 3. RMSprop：在梯度变化大的地方降低更新数据的速

>>阅读原文<<