（3）梯度下降法Gradient Descent

梯度下降法 不是一个机器学习算法 是一种基于搜索的最优化方法 作用：最小化一个损失函数 梯度上升法：最大化一个效用函数   举个栗子 直线方程：导数代表斜率 曲线方程：导数代表切线斜率 导数可以代表方向，对应J增大的方向。对于蓝点，斜率为负，西塔减少时J增加，西塔增加时J减少，我们想让J减小，对应导数的负方向，因此前面需要加上负号。  （伊塔对应步长）-------（1） 用当前点的西塔加上（1）

>>阅读原文<<