如何理解梯度下降法

前面的文章「机器学习入坑指南（三）：简单线性回归」中提到，梯度下降法是一种常用的迭代方法，其目的是让输入向量找到一个合适的迭代方向，使得输出值能达到局部最小值。在拟合线性回归方程时，我们把损失函数视为以参数向量为输入的函数，找到其梯度下降的方向并进行迭代，就能找到最优的参数值。 一、一元函数与导数 一元函数可以看成是平面上的函数。设一次函数形式为 y=kx+b y = k x + b ，图像如下

>>阅读原文<<