李宏毅2020机器学习笔记2——回归：梯度下降算法、正则化

一、回归应用广泛 二、引出梯度下降算法来求解minL （1）梯度下降厉害的地方在哪里？ 只要方程可微分，都可以拿来进行处理，来找比较好的参数和方程。 梯度的方向是变化率最大的方向。 （2）梯度下降法：只有一个参数时 总是为了让loss减少。 任取一点，求出来该点的导数为负，就增加w；反之减少w。 n ： learning rate 学习率 （决定步长） 可以看出来步长是变化的。 越接近min，导数

>>阅读原文<<