Ridge回归、Lasso回归、坐标下降法、最小角回归

Ridge回归   可以看成是对最小二乘法的一种补充，岭回归通过对系数的大小施加惩罚来解决普通最小二乘法的一些问题。 它和一般线性回归的区别是在损失函数上增加了一个L2正则化的项，和一个调节线性回归项和正则化项权重的系数 α 。损失函数表达式如下： J(θ)=12(Xθ−Y)T(Xθ−Y)+12α||θ||22 其中 α 为常数系数，需要进行调优。 ||θ||2 为L2范数。 Ridge回归的解法

>>阅读原文<<