Pytorch_第七篇_深度学习 (DeepLearning) 基础 [3]---梯度降低

时间 2020-08-06

标签 pytorch 第七深度学习 deeplearning 基础梯度降低繁體版

原文原文链接

深度学习 (DeepLearning) 基础 [3]---梯度降低法

Introduce

在上一篇“深度学习 (DeepLearning) 基础 [2]---神经网络经常使用的损失函数”中咱们介绍了神经网络经常使用的损失函数。本文将继续学习深度学习的基础知识，主要涉及基于梯度降低的一类优化算法。首先介绍梯度降低法的主要思想，其次介绍批量梯度降低、随机梯度降低以及小批量梯度降低（mini-batch）的主要区别。html

如下均为我的学习笔记，如有错误望指出。git

梯度降低法

主要思想：沿着梯度反方向更新相关参数，使得代价函数逐步逼近最小值。github

思路历程：算法

假设给咱们一个损失函数，咱们怎么利用梯度降低法找到函数的最小值呢（换一种说法，即如何找到使得函数最小的参数x）？首先，咱们应该先清楚函数的最小值通常位于哪里。按个人理解应该是在导数为0的极值点，然而极值点又不必定都是最小值点，多是局部极小值点。那么，既然知道了最小值点在某个极值点（梯度为0），那么咱们使得损失函数怎么逼近这个极值点呢？网络

如今咱们反过来思考上述梯度降低法的主要思想。首先，要理解这个主要思想，咱们须要理解梯度方向是什么。梯度方向指的是曲面当前点方向导数最大值的方向（指向函数值增大的方向）。假设咱们如今处在函数上x=xt这个点（梯度不为0，不是极值点），所以如今咱们须要肯定增长x仍是减小x能帮忙咱们逼近函数的最小值。前面说过梯度方向指向函数值增大的方向，所以咱们只要往梯度的反方向更新x，就能找到极小值点。（可能仍是有点迷，下面结合例子具体看梯度降低的执行过程来理解其主要思想）函数

（note: 因为凸函没有局部极小值，所以梯度降低法能够有效找到全局最小值，对于非凸函数，梯度降低法可能陷入局部极小值。）学习

举个梨子：
假设有一个损失函数以下（当x=0的时候取得最小值，咱们称x=0为最优解）：大数据

\[y = x^2 \]

咱们须要利用梯度降低法更新参数x的值使得损失函数y达到最小值。首先咱们随机初始化参数x，假设咱们初始化参数x的值为xt，以下图所示：
优化

如今问题转化为咱们怎么更新参数x的值（当前为xt）使得其愈来愈靠近使得函数达到最小值的最优参数x。直观上看咱们须要减少x的值，才能使得其愈来愈靠近最优参数。htm

如今咱们求取y对参数x的导（当有多个参数时，为偏导），以下：

\[y' = 2x \]

因为xt>0，所以当咱们代入xt到y'，咱们能够发如今点xt处导数（梯度）为正值，所指方向为图中所示的梯度方向。很明显，咱们不能随着梯度指示的方向更新参数x，而应该往梯度方向的负方向更新。如上图所示，很明显，应该减少x的值才能慢慢靠近最优解。所以，不难给出参数x的更新公式（即梯度降低的参数通常更新公式）以下（α为学习率）：

\[x_{t+1} = x_t - α * y'(x_t) \]

咱们来验证上述更新公式。

当x=xt（xt>0）（位于y轴右边），则在x处的导数也大于0，由更新公式，下一时刻的x会减小（如上图所示x=xt减小会愈来愈靠近最优解x=0）。
当x=-xt（xt>0）（位于y轴左边），则在x处的导数也小于0，代入更新公式，咱们发现下一时刻x会增长（如上图所示x=-xt增长会愈来愈靠近最优解x=0）。所以推导出的梯度降低参数更新公式符合咱们的目标。
所以不断对参数x对上述更新，最终x的值会慢慢靠近最优解x=0.

上述即是梯度降低法的原理了，只不过举的例子比较简单，多参数（如神经网络中的参数w和b）的能够相似推理。

一个注意点：假设咱们如今处在x=xt这个点，若学习率α设置过大，虽然收敛速度可能会加快（每次跨步大），可是xt也可能会过分更新，即（一次性减得太多）可能会越过最优解（跑到最优解的左边），再一次更新的话也可能会再次越过最优解（一次性加得太多，跑到最优解的右边），emmm，就这样反复横跳，始终达不到最优解。另外，学习率设置过小的话，x虽然更可能达到最优解，可是算法收敛太慢（x的每个跨步过短）。对于学习率的选择，能够按0.00一、0.0一、0.一、1.0这样子来筛选。

如今依次介绍三种类型的梯度降低法，批量梯度降低、随机梯度降低以及小批量梯度降低。 如下介绍均以Logistic回归模型的损失函数（凸函数）为例，以下：

\[z = w1x1+w2x2+b \]

\[y_p = sigmoid(z) \]

\[Loss(y_p,y_t) = -{1\over n}\sum_{i=1}^n (y_tlog(y_p)+(1-y_t)log(1-y_p)) \]

其中input = (x1,x2)为输入的训练样本。咱们的目标是在训练样本集（假设有N个训练样本）上寻找最优参数w一、w2以及b使得损失函数在训练样本上达到最小的损失。（神经网络的训练过程过程就是输入训练样本，计算损失，损失函数反向对待更新参数求梯度，其次按照梯度降低法的参数更新公式朝着梯度反方向更新全部参数，如此往复，直到找到使得损失最小的最优参数或者达到最大迭代次数）（注意到损失函数上还有一个常量n咱们没有解释，其实我以为如下三个基于梯度降低的优化算法主要区别就是在n的取值上）

批量梯度降低（n=N的状况）

对于上述问题，批量梯度降低的作法是什么样的呢？其每次将整个训练样本集都输入神经网络模型，而后对每一个训练样本都求得一个损失，对N个损失加权求和取平均，而后对待更新参数求导数，其次按照梯度降低法的参数更新公式朝着梯度反方向更新全部参数。通俗来说就是每次更新参数都用到了全部训练样本（等价于上述损失公式中的n=N）。每一轮参数更新中，每一个训练样本对参数更新都有贡献（每个样本都给了参数更新必定的指导信息），所以理论上每一轮参数更新提供的信息是很丰富的，参数更新的幅度也是比较大的，使得参数更新能在少数几轮迭代中就达到收敛（对于凸优化问题能达到全局最优）。然而，对于大数据时代，训练样本可能有不少不少，每轮都是用那么多的样本进行参数更新的指导的话，更新一次（一次epoch）会很是很是久，这是这种方法的主要缺点。

随机梯度降低（n=1的状况）

对于上述优化问题，随机梯度降低(SGD)与批量梯度降低法的主要区别就是， SGD每一轮参数更新都只用一个训练样原本指导参数更新（n=1）。也就是说每次只计算出了某训练样本的损失，并进行反向传播指导参数更新。其优势是每一轮迭代的时间开销很是低（由于只用到了一个训练样本）。然而一个训练样本提供的信息可能比较局限，即其可能使得某次参数更新方向并非朝着全局最优的方向（如噪声样本提供的信息可能就是错误的，致使其往偏离全局最优的方向更新），可是总体上是朝着全局最优的方向的。虽然随机梯度降低可能最终只能达到全局最优附近的某个值，可是相对于批量梯度降低来讲最好的地方就是速度很快，所以基于精度和效率权衡，更经常使用的仍是SGD。

小批量(mini-batch)梯度降低（n=num_batch）

小批量梯度降低是上述两种方法的一个折中，即既考虑精度也考虑了收敛速度。那么折中方法是怎么作的呢？首先小批量梯度须要设置一个批量的大小（假设是num_batch），而后每次选取一个批量的训练样本，计算获得num_batch个损失，求和取平均后反向传播来指导参数更新（n=num_batch）。通俗来讲就是每一轮的参数更新咱们既不是用上整个训练样本集（时间开销大），也不是只用一个训练样本（可能提供错误信息），咱们是使用一个小批量的样本（1<n<N）来指导参数更新。虽然可能效果没有批量梯度降低法好，速度没有随机梯度降低法快，可是这种方法在精度和收敛速度上是一个很好的折中。所以，在深度学习中，用得比较多的通常仍是小批量(mini-batch)梯度降低。

本文参考-1

本文参考-2