K-means是一种无监督的学习,将相似的对象归到同一个簇中.可以将一批数据分为K个不同的簇,并且每个簇的中心采用簇中所含样本的均值计算而成. K-means算法的K值需要由用户指定,算法开始时随机选择K个初始点作为质心,然后将数据集中的每个点分配到一个簇中.那么,如何确定某一组数据归于哪个簇中呢?这是通过计算这一组数据与K个质心的距离来实现的,这组数据离哪个质心最近,就将其归于哪个簇中.待所有数据第一次循环完毕后,重新计算质心,质心更新为该簇所有点的平均值.直到每一个簇的质心都不发生变化为止. 那么上面所述的距离到底是个什么?这可以由用户自己来选择某种距离计算方法来实现,如欧氏距离,曼哈顿距离等等.
程序1,随机生成K个样本中心:
#计算两组数据间的欧氏距离
def distEclud(vecA, vecB):
return sqrt(sum(power(vecA - vecB, 2)))
#构造质心
def randCent(dataSet, k):
n = shape(dataSet)[1]#求出数据的列数
centroids = mat(zeros((k, n)))#生成k组n列的矩阵,值全为0
for j in range(n):#对每一列的数字随机生成
minJ = min(dataSet[:, j])#读取某列中的最小值
rangeJ = float(max(dataSet[:, j]) - minJ)#某列数据范围
centroids[:, j] = minJ + rangeJ * random.rand(k, 1)#随机矩阵该列的值为最小值+数据范围乘以一个0到1的随机数,rand(k, 1)生成k行1列的随机矩阵
return centroids该程序片段会根据传入的dataSet和k值计算出k个初始质心
程序2,计算kMeans
#计算kMeans,返回K个中心点以及各组数据离中心点的距离
def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
m = shape(dataSet)[0]#获取待分组样本总数
clusterAssment = mat(zeros((m,2)))#用于保存各组样本属于哪个簇,同时保存与簇中心的距离
centroids = createCent(dataSet, k)#随机创建k个质心
clusterChanged = True#质心变化标志,初始化为true,在循环中,任何一个质心发生变化,该值就为true
while clusterChanged:
clusterChanged = False
for i in range(m):#对m组样本进行循环
minDist = inf#取正无穷
minIndex = -1#取下标为-1
for j in range(k):#对每个质心进行循环
distJI = distMeas(centroids[j,:],dataSet[i,:])#计算第i组样本离质心j的距离
if distJI < minDist:#若距离比上一步计算的最小距离还小
minDist = distJI#更新该值
minIndex = j#则样本i离质心j最近
if clusterAssment[i,0] != minIndex:#若保存的质心与新计算的质心不一致
clusterChanged = True
clusterAssment[i,:] = minIndex,minDist**2#计算的质心,与质心距离平方
print centroids
for cent in range(k):#对k个中心进行循环
ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#将属于第cent个中心的所以样本从dataSet中取出
centroids[cent,:] = mean(ptsInClust, axis=0) #根据簇cent中的所有样本,计算新的质心
return centroids, clusterAssment#返回最终稳定的质心,以及各样本所属质心和距离 程序的详细过程都写在注释中.大致思路是,根据传入的dataSet和k值,以及构造初始质心的方法,计算距离的方法等参数生成最终的
质心,以及各样本距离所属
质心和与
质心的距离.计算过程中只要发现任何一个
质心发生了调整,则继续进行下一轮计算,直到各
质心保持不变为止.
程序2的改进
问题来了,对待分组样本,如何能够事先知道可以分为多少组呢?并且,如何衡量该聚类的效果好坏呢?其实上面的程序有可能陷入局部最小值,而非全局最小值.有一种度量聚类效果的指标是SSE(Sum of Squared Error,误差平方和),误差平方也就是上面程序2的clusterAssment中下标为1的那些数据. 首先我们假设k的值已经固定,即明确数据要分成多少类.由于采用SSE指标,那么离
质心越远的点对该指标的影响最大.为了降低SSE的值,首先想到的是可以增加
质心的个数,将SSE最大的那个簇采用k`=2重新聚类.但是增加
质心个数又违背了k的个数固定这个条件.因为增加了一个
质心,那么我们再将其中某两个质心进行合并是不是又减少了一个
质心呢?如何选择哪写
质心进行合并?有两种办法,第一是合并最近的质心,第二是合并两个使得SSE增幅最小的质心.
二分K-Means算法
为了避免陷入局部最小值,可以使用二分K-Means算法(bisecting K-means). 假设数据会被分成k个组,首先将所有数据当成一个簇,将该簇一分为2,然后选择其中一个簇再进行二分.每次二分都会增加一个簇,直到簇的数目达到K为止.选择哪一个簇进行二分呢?哪个簇进行二分能最大成都降低SSE的值就选择哪个簇进行二分.
程序3,二分K-Means算法
#二分K-Means算法
def biKmeans(dataSet, k, distMeas=distEclud):
m = shape(dataSet)[0]#获取待分组数据集的数目
clusterAssment = mat(zeros((m,2)))#用于保存各组样本属于哪个簇,同时保存与簇中心的距离
centroid0 = mean(dataSet, axis=0).tolist()[0]#取所有样本各个指标的平均值做为第一个簇的质心
centList =[centroid0] #用于存储所有的质心
for j in range(m):#计算所有样本与初始质心距离的平方
clusterAssment[j,1] = distMeas(mat(centroid0), dataSet[j,:])**2
while (len(centList) < k):#当前质心数小于设定质心数K,则继续二分
lowestSSE = inf#初始SSE为正无穷
for i in range(len(centList)):#循环遍历每一个已有质心
ptsInCurrCluster = dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]#获取i簇中的所有数据
centroidMat, splitClustAss = kMeans(ptsInCurrCluster, 2, distMeas)#将该簇进行二分
sseSplit = sum(splitClustAss[:,1])#计算二分后的SSE
sseNotSplit = sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])#不在该簇中其他点的SSE
print "sseSplit, and notSplit: ",sseSplit,sseNotSplit
if (sseSplit + sseNotSplit) < lowestSSE:#两者相加,若比最低SSE还要低
bestCentToSplit = i#就在第i个质心上
bestNewCents = centroidMat#i簇上的二分质心
bestClustAss = splitClustAss.copy()#返回K个中心点以及各组数据离中心点的距离
lowestSSE = sseSplit + sseNotSplit#最低SSE更新为当前最低值
#每次二分会新增一个质心,,bestClustAss每次都是分成0和1两种情况,
#比如之前有两个质心0和1,发现其中1簇可以继续二分,那么现在就有三个质心,将新的1设置为2,将新的0设置为1,
#那么现在的三个质心分别为0,1,2,原来的0保持不变
bestClustAss[nonzero(bestClustAss[:,0].A == 1)[0],0] = len(centList) #将其中是1的更新为最新增加的簇
bestClustAss[nonzero(bestClustAss[:,0].A == 0)[0],0] = bestCentToSplit#将其中为0的继续保存在之前那个质心编号内
print 'the bestCentToSplit is: ',bestCentToSplit
print 'the len of bestClustAss is: ', len(bestClustAss)
centList[bestCentToSplit] = bestNewCents[0,:].tolist()[0]#将最佳二分的i簇原来的质心替换成新生成的第一个质心
centList.append(bestNewCents[1,:].tolist()[0])#将新生成的第二个质心也追加到最佳质心列表中
clusterAssment[nonzero(clusterAssment[:,0].A == bestCentToSplit)[0],:]= bestClustAss#最佳二分的i簇新的相关信息
return mat(centList), clusterAssment若k值不确定,有一个Canopy算法可以用在K-Means之前用于确定k的个数以及初始的质心坐标。
