机器学习笔记——梯度下降（Gradient Descent）

梯度下降算法（Gradient Descent） 在所有的机器学习算法中，并不是每一个算法都能像之前的线性回归算法一样直接通过数学推导就可以得到一个具体的计算公式，而再更多的时候我们是通过基于搜索的方式来求得最优解的，这也是梯度下降法所存在的意义。 不是一个机器学习算法 是一种基于搜索的最优化方法 作用：最小化一个损失函数 梯度上升法：最大化一个效用函数 1 梯度下降法 1.1 什么梯度下降法？

>>阅读原文<<