深度学习中的优化方法

梯度降低沿着整个训练集的梯度方向降低。可使用随机梯度降低很大程度地加速，沿着随机挑选的小批量数据的梯度降低。python 批量算法和小批量算法 使用小批量的缘由 n个样本均值的标准差是 σn√ ，其中 σ 是样本值真实的标准差。分母 n√ 代表使用更多的样原本估计梯度的方法的回报是低于线性的。 另外一个促使从小数目样本中得到梯度的统计估计的动机是训练集的冗余。大量样本可能对梯度作出了很是类似的贡献

>>阅读原文<<