正则化方法：L1和L2 regularization、数据集扩增、dropout

正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，经常会导致overfitting（过拟合）。其直观的表现例如以下图所看到的。随着训练过程的进行，模型复杂度添加，在training data上的error渐渐减小。可是在验证集上的error却反而渐渐增大——由于训练出来的网络过拟合了训练集，对训练集外的数据却不work。   为了防止overfitting。

>>阅读原文<<