最简洁推导求解最小二乘法(线性回归,监督学习)

我们知道当X 为m*n的矩阵 输入,Y为m*1的输出。那么为了求出w Xw = Y,我们可以用线性回归并让 预测值和真实值的差的平方最小,那么 w 证明过程: 矩阵结构为: 我们发现yTy是一个常数,也就是说在最小化loss的时候,我们可以不管yTy。 我们对loss函数进行偏微分,这里用到了一个矩阵微分公式,在matrix cookbook里有. 第10页。 aTw 就微分为a了 。 第11页
相关文章
相关标签/搜索