【一网打尽】机器学习梯度下降优化算法

【一网打尽】机器学习梯度下降优化算法 1. 梯度下降 梯度的方向是上升的方向，所以我们是沿着梯度的反方向，每一次根据学习率来决定走的步长，争取到达谷底。 2. 梯度下降变体 各种各样的变体，主要是为了在参数更新准确度和所需要时间之间做一个trade-off。 2.1 Batch gradient descent 使用所有的数据集来计算更新梯度。 缺点： 非常耗时。计算出整个数据集的梯度才能更新一次

>>阅读原文<<