三、岭回归

根据线性回归标准方程法的公式： 当数据特征n>样本个数m的时候，xTx会出现有一些行或者列全是0的情况，这就不是满秩矩阵（没有哪一行或列全是0），所以不可逆。 I这个单位矩阵的行列与xTx是一样的，且单位矩阵I是满秩矩阵，λ一般是一个比较小的数，xTx + λI 的结果就是一个满秩矩阵。所以可逆。 岭回归的公式是通过L2正则化推演出来的，推演过程如下： 没有加上正则化的代价函数，称之为无偏估计，加

>>阅读原文<<