深度学习中的常见正则化问题

引言 机器学习算法不仅仅要在训练集上表现效果好，同样的，也要在测试集上表现良好。通常的，在训练集上的误差称为训练误差，而机器学习算法在测试集上的误差就是泛化误差。通常训练误差和泛化误差有这样一张图： 当训练误差非常小时，通常泛化误差会变很大，这就是所谓的“过拟合”现象。为了解决这种问题，就需要我们设计一些策略来减少泛化误差，当然可能会相应的增加训练误差，不过这些代价是值得的。下面我们就来深入讨论一

>>阅读原文<<