常用正则化方法总结

有效的正则化策略可以显著的减少方差而不过度增加偏差。 参数范数惩罚 许多正则化方法会在损失函数中添加一个参数范数惩罚，限制模型（如神经网路、线性回归或逻辑回归）的学习能力 J ~ ( θ ; X , y ) = J ( θ ; X , y ) + α Ω ( θ ) \tilde J (\pmb{\theta};\boldsymbol{X},\pmb{y} ) = J (\pmb{\theta};

>>阅读原文<<