（转）线性回归数学推导（详细过程）

线性回归的公式

线性回归的数学推导主要涉及到如下几个知识点。

1. 利用矩阵的知识对线性公式进行整合

2. 偏差项的分析

3. 似然函数的理解

4. 矩阵求偏导

5. 线性回归的最终求解

---

咱们先来看下这个图

姓名	工资(元)	房屋面积(平方米)	可贷款金额(元)
张三	6000	58	30000
李四	9000	77	55010
王五	11000	89	73542
陆永剑	15000	54	63201

这个是近期比较火的现金贷产品的贷款额度。这个表格表示的是可贷款的金额 与 工资 和 房屋面积之间的关系，其中 工资 和 房屋面积 为 特征，可贷款金额为目标函数值。
那么根据线性函数可获得如下公式。

上面的这个式子是当一个模型只有两个特征(x1,x2)的时候的线性回归式子。
正常状况下，现金贷中可贷款的额度和用户的不少特征相关联，并不仅是简单的这两个特征。因此咱们须要把这个式子进行通用化。
假若有n个特征的话，那么式子就会变成下面的样子

上面的式子是一个多项求和的式子，用机器学习的思想，怎么把这个式子聚合一下呢？
由于机器学习中基本上都是用矩阵的方式来表示参数的，也就是说咱们须要把这个多项求和的式子用矩阵的方式表达出来，这样才方便后续的计算。

咱们把权重参数和特征参数，都当作是1行n列的矩阵(或者是行向量)。那么就能够根据矩阵乘法的相关知识，把上述多项求和的式子，转换成矩阵的乘法的表达式。
由此咱们就把多项求和化简称了

这个就是第一步，利用矩阵的知识对线性公式进行整合。
接着咱们来看第二步，偏差项的分析

式子里面其实并非只有W*X吧？ 还有一个参数b。也就是咱们说的偏移量，或者叫作偏差项。
咱们先来看下面的这个图

图中的横坐标X1 和 X2 分别表明着 两个特征(工资、房屋平米) 。纵坐标Y表明目标(可贷款的额度)。其中红点表明的就是实际的目标值(每一个人可贷款的额度).而平面上和红点竖向相交的点表明着咱们根据线性回归模型获得的点。也就是说实际获得的钱和预估的钱之间是有必定偏差的，这个就是偏差项。
由于偏差项是真实值和偏差值之间的一个差距。那么确定咱们但愿偏差项越小越好。

咱们根据实际状况，假设认为这个偏差项是知足如下几个条件的。

1.独立：张三和李四一块儿使用这款产品，可贷款额互不影响
2.同分布：张三和李四是使用的是同一款产品
3.高斯分布：绝大多数的状况下，在一个的空间内浮动不大
下面是高斯分布的图，忘记的同窗们能够回忆下。

第三步. 似然函数的理解
由前面两步，咱们已经把线性回归模型，推导成下面的这个式子了。

第二步，已经知道偏差项是符合高斯分布的，因此偏差项的几率值就是下面的式子。

再把偏差值带入到这个式子里面，就获得了下面的式子。

偏差项确定是越小越好了，那么接下来要讨论的就是什么样的参数和特征的组合可以让偏差项最小呢？ 这里就引入了似然函数的做用。似然函数的做用就是要根据样原本求什么样的参数和特征的组成可以最接近真实值。越接近真实值则偏差越小。

似然函数就是求能让真实值和预测值相等的那个参数的。

上面的式子是多个参数的乘积的形式，很难进行计算，因此咱们又采用了对数的一个小技巧，把多个数相乘，转化成多个数相加的形式。

根据上面的这种换算关系，咱们就把似然函数的式子换算成下面的这个。
(由于似然函数是越大越好，似然函数的值和对数似然函数的值是成正比的，对值求对数，并不会影响到最后求极限的值。因此才敢进行对数处理。)

对上面的式子进行整合，获得


经过上面一系列推导，就把式子转化为最小二乘法的相关知识了。
这就是在线性回归中使用似然函数的相关知识。
---【若是想了解更多的数学基础知识，及机器学习的相关课程，请点击下面连接】
---【从零开始学习机器学习,包含全套的机器学习课程】

接着看下一步：矩阵求偏导
怎么计算最小二乘法的公式的最小值。这里面就要涉及到导数的相关知识了，
求以前，咱们根据矩阵的知识，把上面的式子再转换一下。

把这个式子求一下偏导。

上面的公式里面还涉及到矩阵转置的性质。想了解矩阵转置的性质，请点击此连接【机器学习数学基础】。

将打开的式子，根据矩阵求导的三个重要公式

咱们就能够把偏导的值求出来，

最终获得结果：

X和Y都是已知的，那么获得了最终的参数值。

转自：
从零开始机器学习001-线性回归数学推导-12123258-51CTO博客
http://blog.51cto.com/12133258/2051527