深度学习最全优化方法---来源于知乎

时间 2019-11-18

标签深度学习优化方法来源于栏目快乐工作繁體版

原文原文链接

ycszen

1 年前

前言

（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各类优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。react

SGD

此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。如今的SGD通常都指mini-batch gradient descent。算法

SGD就是每一次迭代计算mini-batch的梯度，而后对参数进行更新，是最多见的优化方法了。即：网络

$g_t=\nabla_{\theta_{t-1}}{f(\theta_{t-1})}$

$\Delta{\theta_t}=-\eta*g_t$

其中， $\eta$ 是学习率，是梯度 SGD彻底依赖于当前batch的梯度，因此 $\eta$ 可理解为容许当前batch的梯度多大程度影响参数更新app

缺点：（正由于有这些缺点才让这么多大神发展出了后续的各类算法）ide

选择合适的learning rate比较困难 - 对全部的参数更新使用一样的learning rate。对于稀疏数据或者特征，有时咱们可能想更新快一些对于不常常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能知足要求了

SGD容易收敛到局部最优，而且在某些状况下可能被困在鞍点【原来写的是“容易困于鞍点”，经查阅论文发现，其实在合适的初始化和step size的状况下，鞍点的影响并没这么大。感谢@冰橙的指正】

Momentum

momentum是模拟物理里动量的概念，积累以前的动量来替代真正的梯度。公式以下：学习

$m_t=\mu*m_{t-1}+g_t$

$\Delta{\theta_t}=-\eta*m_t$

其中， $\mu$ 是动量因子大数据

特色：优化

降低初期时，使用上一次参数更新，降低方向一致，乘上较大的 $\mu$ 可以进行很好的加速
降低中后期时，在局部最小值来回震荡的时候， $gradient\to0$ ， $\mu$ 使得更新幅度增大，跳出陷阱
在梯度改变方向的时候， $\mu$ 可以减小更新总而言之，momentum项可以在相关方向加速SGD，抑制振荡，从而加快收敛

Nesterov

nesterov项在梯度更新时作一个校订，避免前进太快，同时提升灵敏度。将上一节中的公式展开可得：ui

$\Delta{\theta_t}=-\eta*\mu*m_{t-1}-\eta*g_t$

能够看出， $m_{t-1}$ 并无直接改变当前梯度，因此Nesterov的改进就是让以前的动量直接影响当前的动量。即：this

$g_t=\nabla_{\theta_{t-1}}{f(\theta_{t-1}-\eta*\mu*m_{t-1})}$

$m_t=\mu*m_{t-1}+g_t$

$\Delta{\theta_t}=-\eta*m_t$

因此，加上nesterov项后，梯度在大的跳跃后，进行计算对当前梯度进行校订。以下图：

momentum首先计算一个梯度(短的蓝色向量)，而后在加速更新梯度的方向进行一个大的跳跃(长的蓝色向量)，nesterov项首先在以前加速的梯度方向进行一个大的跳跃(棕色向量)，计算梯度而后进行校订(绿色梯向量)

其实，momentum项和nesterov项都是为了使梯度更新更加灵活，对不一样状况有针对性。可是，人工设置一些学习率总仍是有些生硬，接下来介绍几种自适应学习率的方法

Adagrad

Adagrad实际上是对学习率进行了一个约束。即：

$n_t=n_{t-1}+g_t^2$

$\Delta{\theta_t}=-\frac{\eta}{\sqrt{n_t+\epsilon}}*g_t$

此处，对从1到进行一个递推造成一个约束项regularizer， $-\frac{1}{\sqrt{\sum_{r=1}^t(g_r)^2+\epsilon}}$ ， $\epsilon$ 用来保证分母非0

特色：

前期较小的时候， regularizer较大，可以放大梯度
后期较大的时候，regularizer较小，可以约束梯度
适合处理稀疏梯度

缺点：

由公式能够看出，仍依赖于人工设置一个全局学习率
$\eta$ 设置过大的话，会使regularizer过于敏感，对梯度的调节太大
中后期，分母上梯度平方的累加将会愈来愈大，使 $gradient\to0$ ，使得训练提早结束

Adadelta

Adadelta是对Adagrad的扩展，最初方案依然是对学习率进行自适应约束，可是进行了计算上的简化。 Adagrad会累加以前全部的梯度平方，而Adadelta只累加固定大小的项，而且也不直接存储这些项，仅仅是近似计算对应的平均值。即：

$n_t=\nu*n_{t-1}+(1-\nu)*g_t^2$

$\Delta{\theta_t} = -\frac{\eta}{\sqrt{n_t+\epsilon}}*g_t$

在此处Adadelta其实仍是依赖于全局学习率的，可是做者作了必定处理，通过近似牛顿迭代法以后：

$E|g^2|_t=\rho*E|g^2|_{t-1}+(1-\rho)*g_t^2$

$\Delta{x_t}=-\frac{\sqrt{\sum_{r=1}^{t-1}\Delta{x_r}}}{\sqrt{E|g^2|_t+\epsilon}}$

其中，表明求指望。

此时，能够看出Adadelta已经不用依赖于全局学习率了。

特色：

训练初中期，加速效果不错，很快
训练后期，反复在局部最小值附近抖动

RMSprop

RMSprop能够算做Adadelta的一个特例：

当 $\rho=0.5$ 时， $E|g^2|_t=\rho*E|g^2|_{t-1}+(1-\rho)*g_t^2$ 就变为了求梯度平方和的平均数。

若是再求根的话，就变成了RMS(均方根)：

$RMS|g|_t=\sqrt{E|g^2|_t+\epsilon}$

此时，这个RMS就能够做为学习率 $\eta$ 的一个约束：

$\Delta{x_t}=-\frac{\eta}{RMS|g|_t}*g_t$

特色：

其实RMSprop依然依赖于全局学习率
RMSprop算是Adagrad的一种发展，和Adadelta的变体，效果趋于两者之间
适合处理非平稳目标 - 对于RNN效果很好

Adam

Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每一个参数的学习率。Adam的优势主要在于通过偏置校订后，每一次迭代学习率都有个肯定范围，使得参数比较平稳。公式以下：

$m_t=\mu*m_{t-1}+(1-\mu)*g_t$

$n_t=\nu*n_{t-1}+(1-\nu)*g_t^2$

$\hat{m_t}=\frac{m_t}{1-\mu^t}$

$\hat{n_t}=\frac{n_t}{1-\nu^t}$

$\Delta{\theta_t}=-\frac{\hat{m_t}}{\sqrt{\hat{n_t}}+\epsilon}*\eta$

其中，，分别是对梯度的一阶矩估计和二阶矩估计，能够看做对指望，的估计； $\hat{m_t}$ ， $\hat{n_t}$ 是对，的校订，这样能够近似为对指望的无偏估计。能够看出，直接对梯度的矩估计对内存没有额外的要求，并且能够根据梯度进行动态调整，而 $-\frac{\hat{m_t}}{\sqrt{\hat{n_t}}+\epsilon}$ 对学习率造成一个动态约束，并且有明确的范围。

特色：

结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优势
对内存需求较小
为不一样的参数计算不一样的自适应学习率
也适用于大多非凸优化 - 适用于大数据集和高维空间

Adamax

Adamax是Adam的一种变体，此方法对学习率的上限提供了一个更简单的范围。公式上的变化以下：

$n_t=max(\nu*n_{t-1},|g_t|)$

$\Delta{x}=-\frac{\hat{m_t}}{n_t+\epsilon}*\eta$

能够看出，Adamax学习率的边界范围更简单

Nadam

Nadam相似于带有Nesterov动量项的Adam。公式以下：

$\hat{g_t}=\frac{g_t}{1-\Pi_{i=1}^t\mu_i}$

$m_t=\mu_t*m_{t-1}+(1-\mu_t)*g_t$

$\hat{m_t}=\frac{m_t}{1-\Pi_{i=1}^{t+1}\mu_i}$

$n_t=\nu*n_{t-1}+(1-\nu)*g_t^2$

$\hat{n_t}=\frac{n_t}{1-\nu^t}$ $\bar{m_t}=(1-\mu_t)*\hat{g_t}+\mu_{t+1}*\hat{m_t}$

$\Delta{\theta_t}=-\eta*\frac{\bar{m_t}}{\sqrt{\hat{n_t}}+\epsilon}$

能够看出，Nadam对学习率有了更强的约束，同时对梯度的更新也有更直接的影响。通常而言，在想使用带动量的RMSprop，或者Adam的地方，大多可使用Nadam取得更好的效果。

经验之谈

对于稀疏数据，尽可能使用学习率可自适应的优化方法，不用手动调节，并且最好采用默认值
SGD一般训练时间更长，可是在好的初始化和学习率调度方案的状况下，结果更可靠
若是在乎更快的收敛，而且须要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。
Adadelta，RMSprop，Adam是比较相近的算法，在类似的状况下表现差很少。
在想使用带动量的RMSprop，或者Adam的地方，大多可使用Nadam取得更好的效果

最后展现两张可厉害的图，一切尽在图中啊，上面的都没啥用了... ...

损失平面等高线

在鞍点处的比较

一、各类优化方法

梯度降低方法为何可以达到最优势

sgd：震动可以跳出局部最小(还有一种模拟退火方法)

batch sgd ：速度要慢

monument :

Momentum is a method that helps accelerate SGD in the relevant direction and dampens oscillations

The momentum term increases for dimensions whose gradients point in the same directions and reduces updates for dimensions whose gradients change directions. As a result, we gain faster convergence and reduced oscillation

若是梯度方向相同就会increase,不一样就会decrease,加快收敛，同时可以抑制震荡

adagrad:

It adapts the learning rate to the parameters, performing larger updates for infrequent and smaller updates for frequent parameters. For this reason, it is well-suited for dealing with sparse data

对罕见的参数更新快（学习率大），不罕见的参数更新慢（学习率小），很是适合稀疏数据

One of Adagrad's main benefits is that it eliminates the need to manually tune the learning rate. Most implementations use a default value of 0.01 and leave it at that.

优势是：不须要手工去调整学习率

Adagrad's main weakness is its accumulation of the squared gradients in the denominator: Since every added term is positive, the accumulated sum keeps growing during training. This in turn causes the learning rate to shrink and eventually become infinitesimally small, at which point the algorithm is no longer able to acquire additional knowledge. The following algorithms aim to resolve this flaw.

缺点是：分母上面的梯度均方的累加，致使学习率缩小，变得无限小

adadelta:

Adadelta is an extension of Adagrad that seeks to reduce its aggressive, monotonically decreasing learning rate. Instead of accumulating all past squared gradients, Adadelta restricts the window of accumulated past gradients to some fixed size

限制过去梯度的累加值在一个固定的大小

adam:

既可以自动调整学习率像adagrad,又结合了monument的优势