深度学习模型容量选择与正则化的意义

在使用深度学习算法时，我们采样得到训练集，然后挑选参数去降低训练集误差。用训练好的模型对测试集进行验证，以得到泛化（测试）误差。在这个过程中，泛化误差期望会大于或等于训练误差期望。我们应朝以下方面努力，以提高算法精度： （1）降低训练误差； （2）缩小训练误差和泛化误差的差距。   这两个因素对应机器学习的两个主要挑战：欠拟合与过拟合。欠拟合是指模型不能在训练集上获得足够低的误差，而过拟合是指训练

>>阅读原文<<