【转】关于Mahalanobis距离的笔记

时间 2019-11-06

标签关于 mahalanobis 距离笔记繁體版

原文原文链接

Mahalanobis距离是用来度量一个点P和一个分布D之间的距离，它是衡量点P与分布D的均值之间存在多少个标准差的一个多维泛化版本。

若是P就位于分布D的均值处，则该距离为0；该距离随着P的偏离均值开始逐步增大。

由印度统计学家马哈拉诺比斯（P. C. Mahalanobis）提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的类似度的方法。与欧氏距离不一样的是它考虑到各类特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，由于二者是有关联的）而且是尺度无关的（scale-invariant），即独立于测量尺度。对于一个均值为 $\mu = ( \mu_1, \mu_2, \mu_3, \dots , \mu_p )^T$ ，协方差矩阵为 $\Sigma$ 的多变量向量 $x = ( x_1, x_2, x_3, \dots, x_p )^T$ ，其马氏距离为php

D_M(x) = \sqrt{(x - \mu)^T \Sigma^{-1} (x-\mu)}

马氏距离也能够定义为两个服从同一分布而且其协方差矩阵为 $\Sigma$ 的随机变量 $\vec{x}$ 与 $\vec{y}$ 的差别程度：ide

d(\vec{x},\vec{y})=\sqrt{(\vec{x}-\vec{y})^T\Sigma^{-1} (\vec{x}-\vec{y})}

若是协方差矩阵为单位矩阵，马氏距离就简化为欧氏距离；若是协方差矩阵为对角阵，其也可称为正规化的欧氏距离。idea

d(\vec{x},\vec{y})=\sqrt{\sum_{i=1}^p {(x_i - y_i)^2 \over \sigma_i^2}}

其中 $\sigma_i$ 是 $x_i$ 的标准差。spa

来源： <https://zh.wikipedia.org/zh/%E9%A9%AC%E6%B0%8F%E8%B7%9D%E7%A6%BB>

mahalanobis距离是基于样本分布的一种距离。物理意义就是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解。再对全部主成分分解轴作归一化，造成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间。
换句话说，主成分分析就是把椭球分布的样本改变到另外一个空间里，使其成为球状分布。而mahalanobis距离就是在样本呈球状分布的空间里面所求得的Euclidean距离。
固然，上面的解释只是对椭球分布而言，对通常分布，只能消除分布的二阶相关性，而不能消除高阶相关性。

来源： <http://blog.csdn.net/luoleicn/article/details/6324266>