K-Means算法

在数据挖掘中，K-Means算法是一种cluster analysis的算法，其主要是来计算数据汇集的算法，主要经过不断地取离种子点最近均值的算法。

问题

K-Means算法主要解决的问题以下图所示。咱们能够看到，在图的左边有一些点，咱们用肉眼能够看出来有四个点群，可是咱们怎么经过计算机程序找出这几个点群来呢？因而就出现了咱们的K-Means算法（Wikipedia连接）

 

K-Means要解决的问题

算法概要

这个算法其实很简单，以下图所示： 

 

从上图中，咱们能够看到，A，B，C，D，E是五个在图中点。而灰色的点是咱们的种子点，也就是咱们用来找点群的点。有两个种子点，因此K=2。

而后，K-Means的算法以下：

1. 随机在图中取K（这里K=2）个种子点。
2. 而后对图中的全部点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。（上图中，咱们能够看到A，B属于上面的种子点，C，D，E属于下面中部的种子点）
3. 接下来，咱们要移动种子点到属于他的“点群”的中心。（见图上的第三步）
4. 而后重复第2）和第3）步，直到，种子点没有移动（咱们能够看到图中的第四步上面的种子点聚合了A，B，C，下面的种子点聚合了D，E）。

这个算法很简单，可是有些细节我要提一下，求距离的公式我不说了，你们有初中毕业水平的人都应该知道怎么算的。我重点想说一下“求点群中心的算法”。

求点群中心的算法

通常来讲，求点群中心点的算法你能够很简的使用各个点的X/Y坐标的平均值。不过，我这里想告诉你们另三个求中心点的的公式：

1）Minkowski Distance公式——λ能够随意取值，能够是负数，也能够是正数，或是无穷大。

 

2）Euclidean Distance公式——也就是第一个公式λ=2的状况

 

3）CityBlock Distance公式——也就是第一个公式λ=1的状况

 

这三个公式的求中心点有一些不同的地方，咱们看下图（对于第一个λ在0-1之间）。

 

（1）Minkowski Distance     （2）Euclidean Distance    （3） CityBlock Distance

上面这几个图的大意是他们是怎么个逼近中心的，第一个图以星形的方式，第二个图以同心圆的方式，第三个图以菱形的方式。

K-Means的演示

若是你以”K Means Demo“为关键字到Google里查你能够查到不少演示。这里推荐一个演示：http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/AppletKM.html

操做是，鼠标左键是初始化点，右键初始化“种子点”，而后勾选“Show History”能够看到一步一步的迭代。

注：这个演示的连接也有一个不错的K Means Tutorial。

K-Means++算法

K-Means主要有两个最重大的缺陷——都和初始值有关：

• K是事先给定的，这个K值的选定是很是难以估计的。不少时候，事先并不知道给定的数据集应该分红多少个类别才最合适。（ISODATA算法经过类的自动合并和分裂，获得较为合理的类型数目K）

• K-Means算法须要用初始随机种子点来搞，这个随机种子点过重要，不一样的随机种子点会有获得彻底不一样的结果。（K-Means++算法能够用来解决这个问题，其能够有效地选择初始点）

我在这里重点说一下K-Means++算法步骤：

1. 先从咱们的数据库随机挑个随机点当“种子点”。
2. 对于每一个点，咱们都计算其和最近的一个“种子点”的距离D(x)并保存在一个数组里，而后把这些距离加起来获得Sum(D(x))。
3. 而后，再取一个随机值，用权重的方式来取计算下一个“种子点”。这个算法的实现是，先取一个能落在Sum(D(x))中的随机值Random，而后用Random -= D(x)，直到其<=0，此时的点就是下一个“种子点”。
4. 重复第（2）和第（3）步直到全部的K个种子点都被选出来。
5. 进行K-Means算法。

相关的代码你能够在这里找到“implement the K-means++ algorithm”（墙）另，Apache的通用数据学库也实现了这一算法

K-Means算法应用

看到这里，你会说，K-Means算法看来很简单，并且好像就是在玩坐标点，没什么真实用处。并且，这个算法缺陷不少，还不如人工呢。是的，前面的例子只是玩二维坐标点，的确没什么意思。可是你想一下下面的几个问题：

1）若是不是二维的，是多维的，如5维的，那么，就只能用计算机来计算了。

2）二维坐标点的X，Y 坐标，实际上是一种向量，是一种数学抽象。现实世界中不少属性是能够抽象成向量的，好比，咱们的年龄，咱们的喜爱，咱们的商品，等等，能抽象成向量的目的就是可让计算机知道某两个属性间的距离。如：咱们认为，18岁的人离24岁的人的距离要比离12岁的距离要近，鞋子这个商品离衣服这个商品的距离要比电脑要近，等等。

只要能把现实世界的物体的属性抽象成向量，就能够用K-Means算法来归类了。

在《k均值聚类(K-means)》 这篇文章中举了一个很不错的应用例子，做者用亚洲15支足球队的2005年到1010年的战绩作了一个向量表，而后用K-Means把球队归类，得出了下面的结果，呵呵。

• 亚洲一流：日本，韩国，伊朗，沙特
• 亚洲二流：乌兹别克斯坦，巴林，朝鲜
• 亚洲三流：中国，伊拉克，卡塔尔，阿联酋，泰国，越南，阿曼，印尼

其实，这样的业务例子还有不少，好比，分析一个公司的客户分类，这样能够对不一样的客户使用不一样的商业策略，或是电子商务中分析商品类似度，归类商品，从而可使用一些不一样的销售策略，等等。

最后给一个挺好的算法的幻灯片：http://www.cs.cmu.edu/~guestrin/Class/10701-S07/Slides/clustering.pdf