1. 归类:python
聚类(clustering):属于非监督学习(unsupervised learning)算法
无类别标记(class label)dom
2. 举例:学习
3. Kmeans算法spa
3.1 clustering中的经典算法,数据挖掘十大经典算法之一3d
3.2 算法接受参数k;将事先输入的n个数据对象划分为k个类以便使得得到的聚类知足:同一类中对象之间类似度较高,不一样类之间对象类似度较小。orm
3.3 算法思想对象
以空间中k个点为中心进行聚类,对最靠近他们的对象归类。经过迭代的方法,逐次更新各聚类中心的值,直至获得最好的聚类结果。blog
3.4 算法描述utf-8
1) 选择适当的c个类的初始中心;
2) 在第k次迭代中,对任意一个样本,求其到c各中心的距离,将该样本划归到距离最近的中心所在的类。
3) 利用均值的方法更新该类的中心值,即经过求当前类全部点的均值来更新c的中心值
4) 对全部的c个聚类中心,若是利用2),3)的迭代更新后,值仍然保持不变,则迭代结束,不然继续迭代。
3.5 算法流程
输入:k, data[n]
1) 选择k个初始中心点,例如c[0]=data[0]...c[k-1]=data[k-1]
2) 对于data[0]...data[n],求出分别与c[0]...c[k-1]之间的距离,将其划分到距离最近的中心所属的类,如data[j] 与c[i]距离最近,data[j]就标记为i。
3) 采用均值思想更新类中心,如对于全部标记为i的点,从新计算c[i]={全部标记为i的data[i]之和}/标记为i的个数。
4) 重复2) 3),直到全部的类中心值的变化小于给定阈值。
流程图:
举例:
每一个实例对应坐标:
距离
归类
中心点
更新后中心点
距离
归类
更新中心点
更新后中心点
距离
归类
中止!!!
3.5 算法优缺点
优势:速度快、简单
缺点:最终结果和初始点选择有关,容易陷入局部最优,须要知道k值。
# -*- coding:utf-8 -*-
import numpy as np
def kmeans(x, k, maxIt):
numPoints, numDim = x.shape
dataSet = np.zeros((numPoints, numDim + 1))
dataSet[:, : -1] = x #dataSet全部行,从第一列到倒数第二列都等于x
#随机选取中心点 全部数据点 随机选k行
centrods = dataSet[np.random.randint(numPoints, size = k), :]
#中心点的最后一列初始化值(类标签):1到k
centrods[:, -1] = range(1, k+1)
iterations = 0
oldCentrods = None
while not shouldStop(oldCentrods, centrods, iterations, maxIt):
print("iteration: \n", iterations)
print("dataSet: \n", dataSet)
print("centroids: \n", centrods)
#为何用copy而不是= 由于后面会作修改 oldCentrods和centrods是两部份内容
oldCentrods = np.copy(centrods)
iterations += 1
#更新类标签
updateLabels(dataSet, centrods)
#更新中心点
centrods = getCentroids(dataSet, k)
return dataSet
def shouldStop(oldCentroids, centroids, iterations, maxIt):
if iterations > maxIt:
return True
return np.array_equal(oldCentroids, centroids)
def updateLabels(dataSet, centroids):
numPoints, numDim = dataSet.shape
for i in range(0, numPoints):
dataSet[i, -1] = getLabelFromCosestCentroid(dataSet[i, : -1], centroids)
def getLabelFromCosestCentroid(dataSetRow, centroids):
label = centroids[0, -1]#初始化本条数据类标签为第一个中心点的类标签
minDis = np.linalg.norm(dataSetRow - centroids[0, : -1]) #调用内嵌的方法算距离 一直在更新
for i in range(1, centroids.shape[0]):#求与每一个中心点之间的距离
dis = np.linalg.norm(dataSetRow - centroids[i, : -1])
if dis < minDis:
minDis = dis
label = centroids[i, -1]
print("minDist:", minDis)
return label
#更新中心点
def getCentroids(dataSet, k):
result = np.zeros((k, dataSet.shape[1]))
for i in range(1, k + 1):
oneCluster = dataSet[dataSet[:, -1] == i, : -1]#取出标记为i的数据(除最后一列)
result[i - 1, : -1] = np.mean(oneCluster, axis=0)
result[i - 1, -1] = i
return result
x1 = np.array([1, 1])
x2 = np.array([2, 1])
x3 = np.array([4, 3])
x4 = np.array([5, 4])
testX = np.vstack((x1,x2,x3,x4))
result = kmeans(testX, 2 ,10)
print("result:" ,result)