理解最小二乘法

想要理解好最小二乘法，首先得理解一些数学概念。而后再去理解最小二乘法

1. 什么是导数？ 导数在几何里面理解就是函数的切线，函数的增加速度。
   参考： 导数    第一节 导数概念
2. 什么是偏导数？当一元函数是平面的时候（定义域x，值域y，组成一个平面），二元函数就是三维空间了（定义域x，定义域y，值域z组成一个三维空间xyz），一元函数的导数很好理解，那二元函数是一个立体空间，获得的导数也是一个二元函数，就不那么好理解了，因此须要咱们控制一面，就至关于减小一个元，变成一元函数的导数，好比说先去掉y这个平面，先求平行于xoz平面的的函数的导数，其实就至关于求一个一元函数的导数。
   参考：偏导数    偏导数及其几何意义
3. 最小二乘法怎么理解？
   对于一元线性回归模型, 假设从整体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可使用无数条曲线来拟合。要求样本回归函数尽量好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准能够肯定为：使总的拟合偏差（即总残差）达到最小。有如下三个标准能够选择：

• 用“残差和最小”肯定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
• 用“残差绝对值和最小”肯定直线位置也是一个途径。但绝对值的计算比较麻烦。
• 最小二乘法的原则是以“残差平方和最小”肯定直线位置。用最小二乘法除了计算比较方便外，获得的估计量还具备优良特性。这种方法对异常值很是敏感。

仔细理解上面三个标准，理解他们的几何意义，就知道最小二乘法（又叫最小平方法）才能是拟合曲线最优偏差最小。 还须要理解公式是怎么推导出来的，以下两个公式，式2是如何从式1推导过来的呢？就是要用到上面学习偏导数了，让β0，β1分别成为变量，x和y当作常量，Q至关于固定平面，分别求β0和β1方面的偏导数，最后让偏导数的值为0，就出来了式2了。
式1 式2
参考：最小二乘法