线性回归算法原理推导

机器学习的有监督算法分为分类和回归两种。

• 回归：经过输入的数据，预测出一个值，如银行贷款，预测银行给你贷多少钱。
• 分类：经过输入的数据，获得类别。如，根据输入的数据，银行判断是否给你贷款。

1、线性回归

　　如今这里有一个例子
　　数据：工资和年龄（2个特征）
　　目标：预测银行会贷款给我多少钱（标签）
　　考虑：工资和年龄都会影响最终银行贷款的结果那么它们各自有多大的影响呢？（参数）

工资	年龄	额度
4000	25	20000
8000	30	70000
5000	28	35000
7500	33	50000
12000	40	85000

　　输入为工资和年龄，输出为银行贷款的额度。那么输入和输出到底有什么关系呢？

　　假设X₁,X₂就是咱们的两个特征（年龄，工资），Y是银行最终会借给咱们多少钱

　　线性回归呢就是找到最合适的一条线（想象一个高维）来最好的拟合咱们的数据点，那么这个地方由于自变量涉及两个，因此最终目的就是找出一个拟合平面。

　　

　　那么如今继续假设θ₁是年龄的参数， θ₂是工资的参数。那么拟合的平面表达式为(θ₀为偏置项，θ₁、θ₂为权重参数)：

 　　

　　这里的话总共有两个特征，那么当有n个特征的时候的表达式为(θ₀对应的X₀全为1)：

　　

2、偏差

　　真实值和预测值之间确定是要存在差别的（用 ε 来表示该偏差），而对于每一个样原本说，真实值等于预测值加上偏差值，公式表达为：

　　

• 偏差ε⁽ⁱ⁾是独立而且具备相同的分布，而且服从均值为0方差为θ²的高斯分布(正态分布)。
• 独立：张三和李四一块儿来贷款，他俩不要紧。
• 同分布：他俩都来得是咱们假定的这家银行。
• 高斯分布：银行可能会多给，也可能会少给，可是绝大多数状况下这个浮动不会太大，极小状况下浮动会比较大，符合正常状况。

 　　

　　预测值与偏差：

　　

　　因为偏差服从高斯分布：

　　

　　将两个式子整合获得：

　　

　　似然函数(什么样的参数跟咱们的数据组合后（这个组合后的值就是预测值）刚好是真实值)，最大似然估计(参数跟数据组合后刚好是真实值的几率是最大的)，下面两个竖线数学符号的意思是进行累乘。

　　

　　对数似然(乘法理解，加法就容易了，对数里面乘法能够转化成加法)：

 　　

3、推导

　　对上面的对数似然进行整合能够获得：

　　

　　咱们的最终目标就是让似然函数（对数似然也是同样）越大越好，由于上面这个式子，前半部分是恒大于0的且是常数，后半部分也是恒大于0的，因此要保持整个式子最大，就只有让后半部分越小越好。因而能够获得：

　　

 　　那下面的过程就是怎么样才能求解使得上面这个式子的值越小越好呢？

　　

　　这上面的推导过程表示并无看得太懂哈哈哈。可是结果表示当θ取这个值的时候，总体的偏导等于0，而偏导等于0是极小值点，至于为何是极小值点，涉及机器学习中的凸优化问题。