距离度量以及python实现(一)

先收藏，用到了在看

1. 欧氏距离(Euclidean Distance)
       欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。
(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：

(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：

(3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离：

(4)也能够用表示成向量运算的形式：

python中的实现：

方法一：

import numpy as np x=np.random.random(10) y=np.random.random(10) #方法一：根据公式求解 d1=np.sqrt(np.sum(np.square(x-y))) #方法二：根据scipy库求解 from scipy.spatial.distance import pdist X=np.vstack([x,y]) d2=pdist(X)

2. 曼哈顿距离(Manhattan Distance)
       从名字就能够猜出这种距离的计算方法了。想象你在曼哈顿要从一个十字路口开车到另一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源， 曼哈顿距离也称为城市街区距离(City Block distance)。
(1)二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离

(2)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的曼哈顿距离

python中的实现 ：

import numpy as np x=np.random.random(10) y=np.random.random(10) #方法一：根据公式求解 d1=np.sum(np.abs(x-y)) #方法二：根据scipy库求解 from scipy.spatial.distance import pdist X=np.vstack([x,y]) d2=pdist(X,'cityblock')

3. 切比雪夫距离 ( Chebyshev Distance )
       国际象棋玩过么？国王走一步可以移动到相邻的8个方格中的任意一个。那么国王从格子(x1,y1)走到格子(x2,y2)最少须要多少步？本身走走试试。你会发现最少步数老是max( | x2-x1 | , | y2-y1 | ) 步 。有一种相似的一种距离度量方法叫切比雪夫距离。
(1)二维平面两点a(x1,y1)与b(x2,y2)间的切比雪夫距离

(2)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的切比雪夫距离

　　这个公式的另外一种等价形式是

       看不出两个公式是等价的？提示一下：试试用放缩法和夹逼法则来证实。

在python中的实现：

import numpy as np x=np.random.random(10) y=np.random.random(10) #方法一：根据公式求解 d1=np.max(np.abs(x-y)) #方法二：根据scipy库求解 from scipy.spatial.distance import pdist X=np.vstack([x,y]) d2=pdist(X,'chebyshev')

4. 闵可夫斯基距离(Minkowski Distance)
闵氏距离不是一种距离，而是一组距离的定义。
(1) 闵氏距离的定义
       两个n维变量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的闵可夫斯基距离定义为：

也可写成

其中p是一个变参数。
当p=1时，就是曼哈顿距离
当p=2时，就是欧氏距离
当p→∞时，就是切比雪夫距离
       根据变参数的不一样，闵氏距离能够表示一类的距离。
(2)闵氏距离的缺点
　　闵氏距离，包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点。
　　举个例子：二维样本(身高,体重)，其中身高范围是150~190，体重范围是50~60，有三个样本：a(180,50)，b(190,50)，c(180,60)。那么a与b之间的闵氏距离（不管是曼哈顿距离、欧氏距离或切比雪夫距离）等于a与c之间的闵氏距离，可是身高的10cm真的等价于体重的10kg么？所以用闵氏距离来衡量这些样本间的类似度颇有问题。
       简单说来，闵氏距离的缺点主要有两个：(1)将各个份量的量纲(scale)，也就是“单位”看成相同的看待了。(2)没有考虑各个份量的分布（指望，方差等)多是不一样的。

python中的实现：

import numpy as np x=np.random.random(10) y=np.random.random(10) #方法一：根据公式求解,p=2 d1=np.sqrt(np.sum(np.square(x-y))) #方法二：根据scipy库求解 from scipy.spatial.distance import pdist X=np.vstack([x,y]) d2=pdist(X,'minkowski',p=2)

5. 标准化欧氏距离 (Standardized Euclidean distance )
(1)标准欧氏距离的定义
　　标准化欧氏距离是针对简单欧氏距离的缺点而做的一种改进方案。标准欧氏距离的思路：既然数据各维份量的分布不同，好吧！那我先将各个份量都“标准化”到均值、方差相等吧。均值和方差标准化到多少呢？这里先复习点统计学知识吧，假设样本集X的均值(mean)为m，标准差(standard deviation)为s，那么X的“标准化变量”表示为：

　　标准化后的值 =  ( 标准化前的值  － 份量的均值 ) /份量的标准差
　　通过简单的推导就能够获得两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的标准化欧氏距离的公式：

　　若是将方差的倒数当作是一个权重，这个公式能够当作是一种加权欧氏距离(Weighted Euclidean distance)。

python中的实现：

import numpy as np x=np.random.random(10) y=np.random.random(10) X=np.vstack([x,y]) #方法一：根据公式求解 sk=np.var(X,axis=0,ddof=1) d1=np.sqrt(((x - y) ** 2 /sk).sum()) #方法二：根据scipy库求解 from scipy.spatial.distance import pdist d2=pdist(X,'seuclidean')

6. 马氏距离(Mahalanobis Distance)
（1）马氏距离定义
       有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为：

       而其中向量Xi与Xj之间的马氏距离定义为：

       若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了：

       也就是欧氏距离了。
　　若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。
python 中的实现：

import numpy as np x=np.random.random(10) y=np.random.random(10) #马氏距离要求样本数要大于维数，不然没法求协方差矩阵 #此处进行转置，表示10个样本，每一个样本2维 X=np.vstack([x,y]) XT=X.T #方法一：根据公式求解 S=np.cov(X) #两个维度之间协方差矩阵 SI = np.linalg.inv(S) #协方差矩阵的逆矩阵 #马氏距离计算两个样本之间的距离，此处共有10个样本，两两组合，共有45个距离。 n=XT.shape[0] d1=[] for i in range(0,n): for j in range(i+1,n): delta=XT[i]-XT[j] d=np.sqrt(np.dot(np.dot(delta,SI),delta.T)) d1.append(d) #方法二：根据scipy库求解 from scipy.spatial.distance import pdist d2=pdist(XT,'mahalanobis')

马氏优缺点：

1）马氏距离的计算是创建在整体样本的基础上的，这一点能够从上述协方差矩阵的解释中能够得出，也就是说，若是拿一样的两个样本，放入两个不一样的整体中，最后计算得出的两个样本间的马氏距离一般是不相同的，除非这两个整体的协方差矩阵碰巧相同；

2）在计算马氏距离过程当中，要求整体样本数大于样本的维数，不然获得的整体样本协方差矩阵逆矩阵不存在，这种状况下，用欧式距离计算便可。

3）还有一种状况，知足了条件整体样本数大于样本的维数，可是协方差矩阵的逆矩阵仍然不存在，好比三个样本点（3，4），（5，6）和（7，8），这种状况是由于这三个样本在其所处的二维空间平面内共线。这种状况下，也采用欧式距离计算。

4）在实际应用中“整体样本数大于样本的维数”这个条件是很容易知足的，而全部样本点出现3）中所描述的状况是不多出现的，因此在绝大多数状况下，马氏距离是能够顺利计算的，可是马氏距离的计算是不稳定的，不稳定的来源是协方差矩阵，这也是马氏距离与欧式距离的最大差别之处。

优势：它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还能够排除变量之间的相关性的干扰。缺点：它的缺点是夸大了变化微小的变量的做用。

参考：

http://www.cnblogs.com/daniel-D/p/3244718.html

http://www.cnblogs.com/likai198981/p/3167928.html

 

 

转自：http://www.cnblogs.com/denny402/p/7027954.html