正则化如何防止过拟合

在训练数据不够多时，或者overtraining时，经常会致使overfitting（过拟合）。其直观的表现以下图所示，随着训练过程的进行，模型复杂度增长，在training data上的error渐渐减少，可是在验证集上的error却反而渐渐增大——由于训练出来的网络过拟合了训练集，对训练集外的数据却不work。

　　

为了防止overfitting，能够用的方法有不少，下文就将以此展开。有一个概念须要先说明，在机器学习算法中，咱们经常将原始数据集分为三部分：training data、validation data，testing data。这个validation data是什么？它其实就是用来避免过拟合的，在训练过程当中，咱们一般用它来肯定一些超参数（好比根据validation data上的accuracy来肯定early stopping的epoch大小、根据validation data肯定learning rate等等）。那为啥不直接在testing data上作这些呢？由于若是在testing data作这些，那么随着训练的进行，咱们的网络实际上就是在一点一点地overfitting咱们的testing data，致使最后获得的testing accuracy没有任何参考意义。所以，training data的做用是计算梯度更新权重，validation data如上所述，testing data则给出一个accuracy以判断网络的好坏。

避免过拟合的方法有不少：early stopping、数据集扩增（Data augmentation）、正则化（Regularization）包括L一、L2（L2 regularization也叫weight decay），dropout。

L2 regularization（权重衰减）

L2正则化就是在代价函数后面再加上一个正则化项：

　　　　　　　　

C0表明原始的代价函数，后面那一项就是L2正则化项，它是这样来的：全部参数w的平方的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与C0项的比重。另外还有一个系数1/2，1/2常常会看到，主要是为了后面求导的结果方便，后面那一项求导会产生一个2，与1/2相乘恰好凑整。

L2正则化项是怎么避免overfitting的呢？咱们推导一下看看，先求导：

　　　　　　　　

能够发现L2正则化项对b的更新没有影响，可是对于w的更新有影响:

　　　　　　　　　　

在不使用L2正则化时，求导结果中w前系数为1，如今w前面系数为 1−ηλ/n ，由于η、λ、n都是正的，因此 1−ηλ/n小于1，它的效果是减少w，这也就是权重衰减（weight decay）的由来。固然考虑到后面的导数项，w最终的值可能增大也可能减少。

另外，须要提一下，对于基于mini-batch的随机梯度降低，w和b更新的公式跟上面给出的有点不一样：

　　　　　　　　　　    

　　　　　　　　　  

对比上面w的更新公式，能够发现后面那一项变了，变成全部导数加和，乘以η再除以m，m是一个mini-batch中样本的个数。

到目前为止，咱们只是解释了L2正则化项有让w“变小”的效果，可是还没解释为何w“变小”能够防止overfitting？一个所谓“显而易见”的解释就是：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合刚恰好（这个法则也叫作奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果每每好于未经正则化的效果。固然，对于不少人（包括我）来讲，这个解释彷佛不那么显而易见，因此这里添加一个稍微数学一点的解释（引自知乎）：

过拟合的时候，拟合函数的系数每每很是大，为何？以下图所示，过拟合，就是拟合函数须要顾忌每个点，最终造成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）很是大，因为自变量值可大可小，因此只有系数足够大，才能保证导数值很大。

　　　　　　　　　　

 

而正则化是经过约束参数的范数使其不要太大，因此能够在必定程度上减小过拟合状况。 

L1 regularization

在原始的代价函数后面加上一个L1正则化项，即全部权重w的绝对值的和，乘以λ/n（这里不像L2正则化项那样，须要再乘以1/2，具体缘由上面已经说过。）

　　　　　　　　

一样先计算导数：

　　　　　　　　　　

上式中sgn(w)表示w的符号。那么权重w的更新规则为：

　　　　　　　　　　

比原始的更新规则多出了η * λ * sgn(w)/n这一项。当w为正时，更新后的w变小。当w为负时，更新后的w变大——所以它的效果就是让w往0靠，使网络中的权重尽量为0，也就至关于减少了网络复杂度，防止过拟合。

另外，上面没有提到一个问题，当w为0时怎么办？当w等于0时，|W|是不可导的，因此咱们只能按照原始的未经正则化的方法去更新w，这就至关于去掉η*λ*sgn(w)/n这一项，因此咱们能够规定sgn(0)=0，这样就把w=0的状况也统一进来了。（在编程的时候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）

Dropout

L一、L2正则化是经过修改代价函数来实现的，而Dropout则是经过修改神经网络自己来实现的，它是在训练网络时用的一种技巧（trike）。它的流程以下：

　　

假设咱们要训练上图这个网络，在训练开始时，咱们随机地“删除”一半的隐层单元，视它们为不存在，获得以下的网络：

　　

保持输入输出层不变，按照BP算法更新上图神经网络中的权值（虚线链接的单元不更新，由于它们被“临时删除”了）。

以上就是一次迭代的过程，在第二次迭代中，也用一样的方法，只不过此次删除的那一半隐层单元，跟上一次删除掉的确定是不同的，由于咱们每一次迭代都是“随机”地去删掉一半。第三次、第四次……都是这样，直至训练结束。

以上就是Dropout，它为何有助于防止过拟合呢？能够简单地这样解释，运用了dropout的训练过程，至关于训练了不少个只有半数隐层单元的神经网络（后面简称为“半数网络”），每个这样的半数网络，均可以给出一个分类结果，这些结果有的是正确的，有的是错误的。随着训练的进行，大部分半数网络均可以给出正确的分类结果，那么少数的错误分类结果就不会对最终结果形成大的影响。