梯度下降法原理

（该博文为一网友所写，非常详细易懂，故搬运过来以后方便回忆学习） 一、为什么需要梯度下降法 每个算法模型都有自己的损失函数，而损失函数包含了各个位置上的参数，我们的最终目标都是要找到使模型损失函数尽可能小的参数。 在学习简单线性回归时，我们使用最小二乘法来求损失函数的最小值，但是这只是一个特例。在绝大多数的情况下，损失函数是很复杂的（比如逻辑回归），根本无法得到参数估计值的表达式。因此需要一种对大

>>阅读原文<<