L2 正则化

概述 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不工作。 为什么将数据集分为三部分：训练集，开发集，测试集。 开发集就是用来避免过拟合的，

>>阅读原文<<