神经网络训练的一些建议（优化算法）

mini-batch梯度降低法 相信有必定深度学习常识的人都知道梯度降低 web 使用batch梯度降低法时，每次迭代你都须要历遍整个训练集，能够预期每次迭代成本都会降低，因此若是成本函数J是迭代次数的一个函数，它应该会随着每次迭代而减小，若是J在某次迭代中增长了，那确定出了问题，也许你的学习率太大。算法 使用mini-batch梯度降低法，若是你做出成本函数在整个过程当中的图，则并非每次迭代都是

>>阅读原文<<