深度学习之几种防止过拟合的方法

防止过拟合的方法主要有： 正则化 dropout 增加训练数据 提前停止训练过程 1. 正则化 正则化是在损失函数中加入一个额外项，使得在反向传播时能够达到权重衰减的目的。常见的正则化包括L1正则化和L2正则化，又称为L1 和L2范数 常规的损失函数： J(w,b)=1/m∑L(y^−y) J ( w , b ) = 1 / m ∑ L ( y ^ − y ) 加入L1范数： Jl(w,b)=J(

>>阅读原文<<