坐标轴下降法与最小角回归法

1. 回顾线性回归　 　　　　首先我们简要回归下线性回归的一般形式：  　　　　     　　　　需要极小化的损失函数是：  　　　　        　　　　如果用梯度下降法求解，则每一轮   迭代的表达式是：  　　　　     　　　　其中   为步长。 　　　　如果用最小二乘法，则   的结果是： 　　　　         2. 回顾Ridge回归 　　　　由于直接套用线性回归可能产生过拟合

>>阅读原文<<