数据科学个人笔记：线性回归最小二乘法+Lasso回归+岭回归

一、线性回归的形式 1.线性回归通过y=XW的形式来拟合p(y|X)的条件分布公式。X为每行一个样本的矩阵，W为参数列向量。也可用其他形式的函数（如多项式）来进行拟合。 2.问题是希望找到最优的W，使得均方误差最小化，即求得使(y-XW)^T*(y-XW)最小的W。问题等价于解上式对W求偏导等于0（此处为零向量，因为均方误差对W求导得到的是梯度向量）的W的解，即2X^T*(XW-y)(使用到了多维

>>阅读原文<<