[机器学习必知必会]正则化

综述 机器学习中经常会在损失函数中加入正则项，称之为正则化Regularize。 目的：防止模型过拟合 原理：在损失函数上加上某些规则（限制），缩小解空间，从而减少求出过拟合解的可能性 例子：以最简单的线性模型为例 我们在统计学习中接触到的最小二乘估计利用均方误差最小的原则来进行参数估计： 在最小二乘估计中加入正则项后，我们得到岭估计： 在数学上我们可以证明岭估计的参数模要严格小于最小二乘估计的参

>>阅读原文<<