梯度降低算法

原文地址：https://kasheemlew.github.io/...

梯度降低(gradient descent，steepest descent)是用来求函数最小值的迭代优化算法。梯度降低有可能获得是一个局部最优解。当损失函数是凸函数时，梯度降低法获得的解必定是全局最优解。所以梯度降低算法能够用来求解均方差的最小值。

相关概念

• Gradient（梯度）

  微积分中，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数的向量形式就是**梯度**，如函数`f(x,y)`, 分别对x,y求偏导数，求得的梯度向量就是`(∂f/∂x, ∂f/∂y)T`,即`grad f(x,y)`或者`▽f(x,y)`。对于在点`(x0,y0)`的具体梯度向量就是`(∂f/∂x0, ∂f/∂y0)T`.或者`▽f(x0,y0)`，若是是3个参数的向量梯度，就是`(∂f/∂x, ∂f/∂y，∂f/∂z)T`。
  
  从几何意义上讲，梯度越大函数变化增长越快。如函数`f(x,y)`,沿着梯度向量的方向就是`(∂f/∂x0, ∂f/∂y0)T`，经过梯度的变化能够找到函数的极值，沿着梯度向量的方向更容易找到函数的最大值，沿着梯度向量相反的方向`-(∂f/∂x0, ∂f/∂y0)T`，梯度减小最快，更容易找到函数的最小值。

• Learning rate（步长，学习效率）

  梯度降低算法中，步长决定了在梯度降低迭代的过程当中，每一步沿梯度负方向前进的长度。

• feature(特征)

  样本中的输入部分，如样本 `{(x0, y0), (x1, y1)}`中的x0和x1

• hypothesis function(假设函数）

  监督学习中，预测得出的结果，记为hθ(x)。线性回归中对于样本`（xi,yi）(i=1,2,...n)`,能够采用拟合函数： `hθ(x) = θ0+θ1x`。

• loss function(损失函数)

  评估模型拟合好坏程度的函数。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。在线性回归中，损失函数一般为样本输出和假设函数的差取平方。好比对于样本（xi,yi）(i=1,2,...n),采用线性回归，损失函数为：`J(θ0,θ1)=∑(i=1)(m)(hθ(xi)−yi)^2`（xi表示样本特征x的第i个元素，yi表示样本输出y的第i个元素，hθ(xi)为假设函数）。梯度降低就是为了求出这个损失函数的最小值。

梯度降低算法

以线性回归为例，

假设函数为hθ(x1,x2,...xn)=θ0+θ1x1+...+θnxn=θi(i = 0,1,2... n)为模型参数，xi(i = 0,1,2... n)为每一个样本的n个特征值, 令x0=1。

损失函数为

初始化参数（能够将步长初始化为1，其余参数初始化为0）后求J关于θi的偏导数获得梯度，用步长（随着梯度降低会减少）乘梯度获得降低的距离，重复直到降低的距离小于某一个阈值，此时的参数就是最优参数。

Batch Gradient Descent（批量梯度降低）

在更新参数时使用全部的样原本进行更新，使用BGD迭代次数较少，能够较容易地求得全局最优解，可是当样本数量不少时训练的时间会很长。

ꭤ为步长

收敛曲线

Stochastic Gradient Descent（随机梯度降低）

随机梯度降低是经过每一个样原本迭代更新一次,所以SGD并非每次迭代都向着总体最优化方向，获得的也不必定是全局最优解。可是SGD训练速度较快，适合样本数量不少的状况。

收敛曲线

Mini-batch Gradient Descent（小批量梯度降低法）

MBGD在每次更新参数时使用b个样本, 综合了BGD和SGD的优势。

与其余无约束优化算法比较

和最小二乘法相比

梯度降低法须要选择步长，而最小二乘法不须要。梯度降低法是迭代求解，最小二乘法是计算解析解。若是样本量不算很大，且存在解析解，最小二乘法比起梯度降低法要有优点，计算速度很快。可是若是样本量很大，用最小二乘法因为须要求一个超级大的逆矩阵，这时就很难或者很慢才能求解解析解了，使用迭代的梯度降低法比较有优点。

和牛顿法/拟牛顿法相比

二者都是迭代求解，不过梯度降低法是梯度求解，而牛顿法/拟牛顿法是用二阶的海森矩阵的逆矩阵或伪逆矩阵求解。相对而言，使用牛顿法/拟牛顿法收敛更快。可是每次迭代的时间比梯度降低法长。

其余问题

• 怎么取ꭤ值？

  随时观察值，若是cost function变小了，则正常。不然则再取一个更小的值；若是Learning rate取值后发现J function 增加了，则须要减少Learning rate的值；