李宏毅机器学习-----------Gradient descent（梯度下降）

引入Gradient  descent（梯度下降）的目的是找到参数使损失函数的值最小。 假设损失函数有两个参数，θ={θ1，θ2} 首先任意找一个初始值θ0，再依次求下一个θ。具体如下图。橙色部分为梯度。 下图为找使损失函数最小的θ的过程。红线表示的是梯度（是两个向量在空间上的和），蓝线表示的是-η▼L（θ） 做梯度下降时的注意点。 1.小心调整learning rate（η）。 如下图所示，左图

>>阅读原文<<