随机梯度降低优化算法、基于冲量的优化算法、TensorFlow中的优化算法API

1：随机梯度降低优化算法 一：普通的梯度降低算法在更新回归系数时要遍历整个数据集，是一种批处理方法，这样训练数据特别忙庞大时，可能出现以下问题：html 收敛过程可能很是慢； 若是偏差曲面上有多个局极小值，那么不能保证这个过程会找到全局最小值。 随机梯度降低法随机抽取一个样原本计算偏差，而后更新权值 二： 随机梯度降低 为了解决上面的问题，实际中咱们应用的是梯度降低的一种变体被称为随机梯度降低。

>>阅读原文<<