统计学基础之回归分析

目录：（来源：百度百科等）

1、一元线性回归

2、多元线性回归

---

 

1、一元线性回归

　　一元线性回归是分析只有一个自变量（自变量x和因变量y）线性相关关系的方法。一个经济指标的数值每每受许多因素影响，若其中只有一个因素是主要的，起决定性做用，则可用一元线性回归进行预测分析。回归分析是研究某一变量（因变量）与另外一个或多个变量（解释变量、自变量）之间的依存关系，用解释变量的已知值或固定值来估计或预测因变量的整体平均值。

　　一元线性回归分析预测法，是根据自变量x和因变量Y的相关关系，创建x与Y的线性回归方程进行预测的方法。因为市场现象通常是受多种因素的影响，而并非仅仅受一个因素的影响。因此应用一元线性回归分析预测法，必须对影响市场现象的多种因素作全面分析。只有当诸多的影响因素中，确实存在一个对因变量影响做用明显高于其余因素的变量，才能将它做为自变量，应用一元相关回归分析市场预测法进行预测。

预测模型为： 式中， x t表明t期自变量的值；  表明t期因变量的值；a、b表明一元线性回归方程的参数。a、b参数由下列公式求得（用表明）： 创建模型：

一、选取一元线性回归模型的变量 ；

二、绘制计算表和拟合散点图 ；

三、计算变量间的回归系数及其相关的显著性 ；

四、回归分析结果的应用

模型的检验：

一、经济意义检验：就是根据模型中各个参数的经济含义，分析各参数的值是否与分析对象的经济含义相符；

二、回归标准差检验；

三、拟合优度检验；

四、回归系数的显著性检验。

（待完善）

一、相关关系

二、最小二乘法

三、拟合优度检验

四、显著性检验（与假设检验联系起来并python实现）

五、回归预测

六、残差分析

---

2、多元线性回归

　　在回归分析中，若是有两个或两个以上的自变量，就称为多元回归。事实上，一种现象经常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。所以多元线性回归比一元线性回归的实用意义更大。

　　将全部变量包括因变量都先转化为标准分，再进行线性回归，此时获得的回归系数就能反映对应自变量的重要程度。这时的回归方程称为标准回归方程，回归系数称为标准回归系数，表示以下：

因为都化成了标准分，因此就再也不有常数项 a 了，由于各自变量都取平均水平时，因变量也应该取平均水平，而平均水平正好对应标准分 0 ，当等式两端的变量都取 0 时，常数项也就为 0 了。多元线性回归与一元线性回归相似，能够用 最小二乘法估计模型参数，也需对模型及模型参数进行统计检验  。

选择合适的自变量是正确进行多元回归预测的前提之一，多元回归模型自变量的选择能够利用变量之间的 相关矩阵来解决。

 

1.创建模型

以二元线性回归模型为例 ，二元线性回归模型以下：

相似的使用最小二乘法进行参数估计  

2.拟合优度指标

标准偏差：对y值与模型估计值之间的离差的一种度量。其计算公式为：

3.置信范围

置信区间的公式为：置信区间= 其中，

 是自由度为

 的

 统计量数值表中的数值,

 是观察值的个数，

 是包括因变量在内的变量的个数。

 

 

1.普通最小二乘法

普通最小二乘法(Ordinary Least Square, OLS)经过最小化偏差的平方和寻找最佳函数。经过矩阵运算求解系数矩阵：

2.广义最小二乘法

广义最小二乘法是普通最小二乘法的拓展，它容许在偏差项存在异方差或自相关，或两者皆有时得到有效的系数估计值。公式如，

其中，Ω是残差项的协方差矩阵。

（待完善）

一、多重共线性

二、变量选择与逐步回归