岭回归、Lasso及其分析

基本概念 前段我们讨论了线性回归模型的原理策略，假定可以表示为 f(xi)=∑k=1nwkxik+w0=wxi 其损失函数为： J(w)=12m∑i=1m(yi−f(xi))2=12m||y−Xw||2 最小二乘法求解可以得到最优解： w=(XTX)−1XTy 在讨论ridge regression 和 lasso 之前，先学习两个概念。 监督学习有两大基本策略，经验风险最小化和结构风险最小化。

>>阅读原文<<