深度学习入门笔记 Day10/15 与学习相关的技巧（二）

一、如何使用Weight Decay权值衰减或者Dropout技术缓解过拟合？ 过拟合现象是指在训练集中表现优秀，但是在其他未知的数据集上表现很差的现象。 由于很多过拟合原本就是因为权重参数取值过大才发生的。Weight Decay权值衰减法是通过最小化权值的二范数，使得所有权值都为最小。 如果网络的模型变得很复杂，只用权值衰减就难以应对了。在这种情况下，我们经常会使用 Dropout 方法。Dr

>>阅读原文<<