梯度下降方法及实例

首先，梯度下降最直观就是方向的选择问题，从山顶往山底，每次沿着梯度的方向(最抖的方向)往下，路程是最短的。 梯度下降的目的是最小化损失函数。 梯度下降的三种方法： Batch gradient descent: 每一步的梯度下降都使用了所有的训练样本，所有样本梯度的平均值。缺点是计算量大，内存消耗大。优点：全局最优解；易于并行实现。 SGD 随机梯度下降，每个样本都计算一次梯度并下降。训练速度快，

>>阅读原文<<