深度学习之正则化

【注】部分图片来源于吴恩达老师课程。 一、正则化使用场景   如果你的网络过度拟合了数据，即存在高方差问题，那么首先应该想到正则化。 二、正则化分类   分为L1正则化和L2正则化两种。首先，我们假定网络中原本的损失函数为：    其中，w为网络的权重值，b为偏置值。   添加L1正则化后损失函数的形式可以表示为：   即在最后添加了权重绝对值的和。 其中，λ是正则化参数。 添加L2正则化后损失函

>>阅读原文<<