随机梯度下降法

在线性回归中使用梯度下降法每次都要更新都需要遍历所有数据，当数据量大的时候耗时非常大。 于是提出了随机梯度下降法，通过一个随机选取的数据来获取“梯度”，进行更新。 与传统梯度下降法的不同在于，随机梯度的步长变化方向不是固定的，如下图所示，不一定沿着最小方向前进。 在这种情况中eta，即学习率，不能是一个固定值。因为当随机梯度接近最小值没到最小值时，固定的eta可能会使最小值没有更小反而更大了，所以

>>阅读原文<<