一文读懂多元回归分析

1、多元回归分析简介

用回归方程定量地刻画一个应变量与多个自变量间的线性依存关系,称为多元回归分析（multiple linear regression),简称多元回归(multiple regression)。

多元回归分析是多变量分析的基础，也是理解监督类分析方法的入口！实际上大部分学习统计分析和市场研究的人的都会用回归分析，操做也是比较简单的，但可以知道多元回归分析的适用条件或是如何将回归应用于实践，可能还要真正领会回归分析的基本思想和一些实际应用手法！

回归分析的基本思想是：虽然自变量和因变量之间没有严格的、肯定性的函数关系，但能够设法找出最能表明它们之间关系的数学表达形式。

2、多元回归线性分析的运用

具体地说，多元线性回归分析主要解决如下几方面的问题。

（1）肯定几个特定的变量之间是否存在相关关系，若是存在的话，找出它们之间合适的数学表达式； 

（2）根据一个或几个变量的值，预测或控制另外一个变量的取值，而且能够知道这种预测或控制能达到什么样的精确度；

（3）进行因素分析。例如在对于共同影响一个变量的许多变量（因素）之间，找出哪些是重要因素，哪些是次要因素，这些因素之间又有什么关系等等。

在运用多元线性回归时主要须要注意如下几点：

首先，多元回归分析应该强调是多元线性回归分析！强调线性是由于大部分人用回归都是线性回归，线性的就是直线的，直线的就是简单的，简单的就是因果成比例的；理论上讲，非线性的关系咱们均可以经过函数变化线性化，就好比：Y=a+bLnX，咱们能够令 t=LnX，方程就变成了 Y=a+bt，也就线性化了。

第二，线性回归思想包含在其它多变量分析中，例如：判别分析的自变量其实是回归，尤为是Fisher线性回归方程；Logistics回归的自变量也是回归，只不过是计算线性回归方程的得分进行了几率转换；甚至因子分析和主成分分析最终的因子得分或主成分得分也是回归算出来的；固然，还有不少分析最终也是回归思想！

第三：什么是“回归”，回归就是向平均靠拢。

第四：若是你用线性回归方式去解释过去，你只能朝着一个趋势继续，但将来对过去的偏离有无数种可能性；

第五：线性回归方程归入的自变量越多，越应该可以反应现实，但解释起来就越困难；

第六：统计学家每每追求的是简约的模型和更高的解释度，每每关注模型R平方，共线性和回归诊断问题；

第七：市场研究人员每每注重模型的解释合理性，是否与预设的直觉一直，是否支持了个人市场假设等；

多元线性回归分析的主要目的是：解释和预测

3、多元回归模型的创建

模型的表达形式以下：

 

 

在此征用一个网络上的例子来作详细讲解：

 

假设咱们收集了100个企业客户经理对我产品的整体满意度和分项指标的满意度评价，我指望知道，什么分项指标对我整体满意度有重要影响，它的改进更可以提高整体满意度；若是创建预测模型，我指望知道了分项指标的评价就可以预测整体满意度数值；

 

 

在SPSS中选择回归分析后，把X10做为因变量，X1到X7做为自变量，选择相应的统计参数和输出结果：

 

 

R平方是咱们最须要关注的，该值说明了方程的拟合好坏，R平方=0.80很是不错了，说明：1）整体满意度的80%的变差均可以由7个分项指标解释，或者说，7个分项指标能够解释整体满意度80%的变差！2）R平方若是太大，你们不要高兴太早，社会科学不多有那么完美的预测或解释，必定存在了共线性！

 

方程分析表的显著性代表了回归具备解释力！

线性回归方程给出可预测的计算系数，可是，社会科学不多进行预测，重要的是解释；

这里要注意的是若是自变量的测量尺度是统一的话，咱们能够直接比较系数的大小，可是若是自变量的测量尺度不统一的话，咱们必须看标准化回归系数，标准化回归系数去掉的量纲，且反应了重要性！咱们就是须要重要性测量！

固然，这个时候，研究人员应该关注每一个指标的回归系数是否真的等于零，要进行假设检验！

4、多元回归模型的显著性检验

上文中有提到，若R平方过大，拟合优度很好的状况下，可能存在多重共线性，而多重共线性即是多元回归模型产生偏差的主要缘由。

形成多重共线性的缘由有一下几种：

一、解释变量都享有共同的时间趋势；

二、一个解释变量是另外一个的滞后，两者每每遵循一个趋势；

三、因为数据收集的基础不够宽，某些解释变量可能会一块儿变更；

四、某些解释变量间存在某种近似的线性关系；

判别：

一、发现系数估计值的符号不对；

二、某些重要的解释变量t值低，而R方不低

三、当一不过重要的解释变量被删除后，回归结果显著变化；

检验：

一、相关性分析，相关系数高于0.8，代表存在多重共线性；但相关系数低，并不能表示不存在多重共线性；

二、vif检验；

三、条件系数检验；

解决方法：

克服主成分分析的统计方式有主成分回归、岭回归、逐步回归，其定义分别为：

主成分回归：主成分分析法做为多元统计分析的一种经常使用方法在处理多变量问题时具备其必定的优越性，其降维的优点是明显的，主成分回归方法对于通常的多重共线性问题仍是适用的，尤为是对共线性较强的变量之间。当采起主成分提取了新的变量后，每每这些变量间的组内差别小而组间差别大，起到了消除共线性的问题。

岭回归：岭回归分析其实是一种改良的最小二乘法，是一种专门用于共线性数据分析的有偏估计回归方法。岭回归分析的基本思想是当自变量间存在共线性时，解释变量的相关矩阵行列式近似为零，X'X是奇异的，也就是说它的行列式的值也接近于零，此时OLS估计将失效。此时可采用岭回归估计。岭回归就是用X'X+KI代替正规方程中的X'X，人为地把最小特征根由minli提升到min（li+k），但愿这样有助于下降均方偏差。

逐步回归：逐步回归（Stepwise Regression）是一种经常使用的消除多重共线性、选取“最优”回归方程的方法。其作法是将逐个引入自变量，引入的条件是该自变量经F检验是显著的，每引入一个自变量后，对已选入的变量进行逐个检验，若是原来引入的变量因为后面变量的引入而变得再也不显著，那么就将其剔除。引入一个变量或从回归方程中剔除一个变量，为逐步回归的一步，每一步都要进行F 检验，以确保每次引入新变量以前回归方程中只包含显著的变量。这个过程反复进行，直到既没有不显著的自变量选入回归方程，也没有显著自变量从回归方程中剔除为止。

处理多重共线性的原则：

一、  多重共线性是广泛存在的，轻微的多重共线性问题可不采起措施；

二、  严重的多重共线性问题，通常可根据经验或经过分析回归结果发现。如影响系数符号，重要的解释变量t值很低。要根据不一样状况采起必要措施。

三、  若是模型仅用于预测，则只要拟合程度好，可不处理多重共线性问题，存在多重共线性的模型用于预测时，每每不影响预测结果；

5、总概模型图