加速神经网络训练方法及不一样Optimizer优化器性能比较

本篇博客主要介绍几种加速神经网络训练的方法。python 咱们知道，在训练样本很是多的状况下，若是一次性把全部的样本送入神经网络，每迭代一次更新网络参数，这样的效率是很低的。为何？由于梯度降低法参数更新的公式通常为：算法 若是使用批量梯度降低法（一次性使用所有样本调整参数），那么上式中求和那项的计算会很是耗时，由于样本总量m是一个很大的数字。那么由此就有了第一种加速方法：随机梯度降低法，简称SGD

>>阅读原文<<