理解梯度下降法(Gradient Decent)

1. 什么是梯度下降法？   梯度下降法(Gradient Decent)是一种常用的最优化方法，是求解无约束问题最古老也是最常用的方法之一。也被称之为最速下降法。梯度下降法在机器学习中十分常见，多用于求解参数的局部最小值问题。 2. 梯度下降法的原理 引用维基百科中的一张图 简单来说，梯度下降法就是利用了函数沿梯度方向下降最快的原理来求解极小值，当然也可以沿梯度上升方向求解极大值。具体的原理就不

>>阅读原文<<