R语言聚类分析：k-means和层次聚类

尽管我我的很是不喜欢人们被划分圈子，由于这样就有了歧视、偏见、排挤和矛盾，但“物以类聚，人以群分”确实是一种客观的现实——这其中就蕴含着聚类分析的思想。

前面所提到的机器学习算法主要都是分类和回归，这两类的应用场景都很清晰，就是对分类型变量或者数值型变量的预测。聚类分析是一种根据样本之间的距离或者说是类似性（亲疏性），把越类似、差别越小的样本聚成一类（簇），最后造成多个簇，使同一个簇内部的样本类似度高，不一样簇之间差别性高。

有人不理解分类和聚类的差异，其实这个很简单：分类是一个已知具体有几种状况的变量，预测它究竟是哪一种状况；聚类则是尽可能把相似的样本聚在一块儿，不一样的样本分开。举个例子，一我的你判断他是男是女这是分类，让男人站一排女人站一排这是聚类。

聚类分析算法不少，比较经典的有k-means和层次聚类法。

k-means聚类分析算法

k-means的k就是最终汇集的簇数，这个要你事先本身指定。k-means在常见的机器学习算法中算是至关简单的，基本过程以下：

首先任取（你没看错，就是任取）k个样本点做为k个簇的初始中心；
对每个样本点，计算它们与k个中心的距离，把它纳入距离最小的中心所在的簇；
等到全部的样本点归类完毕，从新计算k个簇的中心；
重复以上过程直至样本点纳入的簇再也不变更。
k-means的聚类过程演示以下：

k-means聚类过程

k-means聚类分析的原理虽然简单，但缺点也比较明显：

首先聚成几类这个k值你要本身定，但在对数据一无所知的状况下你本身也不知道k应该定多少；
初始质心也要本身选，而这个初始质心直接决定最终的聚类效果；
每一次迭代都要从新计算各个点与质心的距离，而后排序，时间成本较高。
值得一提的是，计算距离的方式有不少种，不必定非得是笛卡尔距离；计算距离前要归一化。

层次聚类法

尽管k-means的原理很简单，然而层次聚类法的原理更简单。它的基本过程以下：

每个样本点视为一个簇；
计算各个簇之间的距离，最近的两个簇聚合成一个新簇；
重复以上过程直至最后只有一簇。
层次聚类不指定具体的簇数，而只关注簇之间的远近，最终会造成一个树形图。

层次聚类示例

经过这张树形图，不管想划分红几个簇均可以很快地划出。

如下以癌细胞细据为例，演示K-means和层次聚类法的过程。

> library(ISLR) > nci.labels = NCI60$labs > nci.data = NCI60$data > > sd.data = scale(nci.data) > data.dist = dist(sd.data) > plot(hclust(data.dist),labels = nci.labels, main = "Complete Linkage", xlab = "", sub = "", ylab = "") # 默认按最长距离聚类> plot(hclust(data.dist,method = "average"),labels = nci.labels, main = "Average Linkage", xlab = "", sub = "", ylab = "") # 类平均法> plot(hclust(data.dist),labels = nci.labels, main = "Single Linkage", xlab = "", sub = "", ylab = "") #最短距离法

Complete Linkage

Average Linkage

Single Linkage

---

可见选择不一样的距离指标，最终的聚类效果也不一样。其中最长距离和类平均距离用得比较多，由于产生的谱系图较为均衡。

> # 指定聚类数> hc.out = hclust(dist(sd.data)) > hc.clusters = cutree(hc.out,4) > table(hc.clusters,nci.labels) nci.labels hc.clusters BREAST CNS COLON K562A-repro K562B-repro LEUKEMIA MCF7A-repro 12320000232000003000116042050001 nci.labels hc.clusters MCF7D-repro MELANOMA NSCLC OVARIAN PROSTATE RENAL UNKNOWN 10886281200100103000000041000000> > plot(hc.out,labels = nci.labels) > abline(h=139,col="red") # 切割成4类

层次聚类划分红4类

图中一条红线将簇划分红4类，很容易看出哪些样本各属于哪一簇。

以上是层次聚类法的结果，但若是用k-means聚类的话，结果极可能就不同了。

> # k-means聚类> set.seed(2) > km.out = kmeans(sd.data,4,nstart = 20) > km.clusters = km.out$cluster > table(km.clusters,hc.clusters) # 两种聚类结果的确有差别，k-means的第2簇与层次聚类的第3簇一致 hc.clusters km.clusters 12341110092008039000420700