回归模型效果评估系列4-从协方差到相关系数

相关表和相关图可反映两个变量之间的相互关系及其相关方向，但没法确切地代表两个变量之间相关的程度。相关系数是用以反映变量之间相关关系密切程度的统计指标。 从协方差出发，了解相关系数的真实含义和数学计算。

  

指望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为：

从直观上来看，协方差表示的是两个变量整体偏差的指望。

若是两个变量的变化趋势一致，也就是说若是其中一个大于自身的指望值时另一个也大于自身的指望值，那么两个变量之间的协方差就是正值；

若是两个变量的变化趋势相反，即其中一个变量大于自身的指望值时另一个却小于自身的指望值，那么两个变量之间的协方差就是负值。

说的简单一些，协方差表示了两个变量同向变化的方向（同向仍是反向）和幅度，但存在一个问题，例以下图（来自知乎），两种状况下，两个变量变化的方向和单一变量变化的相对幅度是同样的，但协方差却差异很大（状况一的协方差≈15428，状况二的协方差≈1.5428），缘由仅仅是状况二中的红色变量的取值范围小了不少。

彷佛有点不合理，这两种状况下他们的相关程度咱们认为应该是同样的；

问题在于两个变量中的一个的取值范围变小了，同时也注意到，他们的协方差差异恰好是红色变量变小的倍数，因此咱们想衡量两个变量之间的相关程度，应该引入相似标准化相似的操做，这就是协方差到相关系数的天然需求。

相关系数是研究变量之间线性相关程度的量

其中，Cov(X,Y)为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差

我对相关系数的理解就是协方差的标准化，协方差的正负符号代表了两个变量变化的大致方向（同向仍是反向），而标准化则是去除由于取值范围带来的幅度的变化

事实上，通过标准化的协方差（也就是相关系数）的取值在[-1,1]之间，-1表示彻底负相关，1表示彻底正相关，0表示不相关

相关系数的取值范围证实参见施瓦茨不等式