机器学习常见数据概念

一、协方差：

计算两个变量在变化过程当中的类似度，同向运动程度越高，值越大。

二、相关系数：

标准差：反映数据的离散程度，数据离散度越大，标准差越大。

经过标准差，将协方差的值约束到必定范围内，去除协方差运动幅度的影响，只保留运动的类似度（相关度），这就是相关系数。

>0 and <=1 正相关; =0 不想关 ;>-1 and <0 负相关 。

三、方差

描述样本与均值的偏离程度

四、标准差

表明了样本的散度，值越小，散度越低。

 五、均方差

评价观测值和真实值之间偏差，经常使用作线性模型的损失函数。

 

 

六、熵、kl散度（Kullback-Leibler (KL) divergence）、交叉熵

熵：

p(x)每一种可能的几率

kl散度：

p(x)、q(x) 两种分布下的，同一个变量的几率（训练样本/测试样本？）

H(p(x))为熵，作为训练样本时，是常数，所以剩余部分能够表明散度，即交叉熵。 

交叉熵：

经常使用作损失函数，用来评价样本差别度。

 

参考：https://blog.csdn.net/tsyccnh/article/details/79163834

 

 

 

---待不断完善