Fuzzy c-means (FCM)聚类算法

算法原理
允许同一数据属于多个不同的类。该算法
(developed by Dunn in 1973 and improved by Bezdek in 1981)经常用于模式识别,基于最小化

下列目标函数:

《Fuzzy c-means (FCM)聚类算法》      ,     《Fuzzy c-means (FCM)聚类算法》

其中, m 是大于1的实数,uijxi 属于类别 j隶属度, xi 第i个测量到的d维数据, cj 是类j的聚类中心,||*|| 表示任一测量数据与聚类

中心的相似度。

Fuzzy partitioning is 通过下列两式的更新迭代来使得上述目标函数达到极小:

《Fuzzy c-means (FCM)聚类算法》      ,    

《Fuzzy c-means (FCM)聚类算法》

《Fuzzy c-means (FCM)聚类算法》,时迭代停止,0<《Fuzzy c-means (FCM)聚类算法》 <1是迭代终止参数,k是迭代轮数。该过程收敛到Jm一个极小值。

算法由下列步骤组成:

  1. 初始化隶属度矩阵U=[uij] , U(0)
  2. 第k轮迭代: 计算中心向量 C(k)=[cj] with U(k)

    《Fuzzy c-means (FCM)聚类算法》

  3. 更新隶属度矩阵 U(k) , U(k+1)

    《Fuzzy c-means (FCM)聚类算法》

  4. If || U(k+1) – U(k)||<《Fuzzy c-means (FCM)聚类算法》 then STOP; otherwise return to step 2.

说明
如前所述,数据属于某个类是由隶属度函数确定的,这正是该算法的模糊行为的体现。在该算法中用一个由
0和1之间元素组成的矩阵表达

对象与类别的隶属关系。
举一个一维的例子来说,给定一个特定数据集,分布如下图:

《Fuzzy c-means (FCM)聚类算法》

从图中可以很容易分辨出两类数据,分别表示为‘A’ and ‘B’. 利用前述的k-means 算法,每个数据关联一个特定的质心,隶属度函数

如下所示:

《Fuzzy c-means (FCM)聚类算法》

利用FCM 算法,同一个数据并不单独属于一个分类,而是可以出现在中间。在这个例子中,隶属函数变得更加平滑,表明每个数据

可能属于几个分类。

《Fuzzy c-means (FCM)聚类算法》

上图中,红色点表示的数据更可能属于类别B,而不是A, ‘m’ 的值0.2表明了数据对A的隶属程度。现在,不用图表示,我们引入

一个矩阵,其元素取自隶属函数:

《Fuzzy c-means (FCM)聚类算法》         《Fuzzy c-means (FCM)聚类算法》

(a)                                   (b)

矩阵的行数和列数取决于数据和类别的个数,确切的说,行数表示数据个数,列数表示类别个数,矩阵元素表示为 uij.
上面的例子中,我们考虑了k-means (a) and FCM (b) 的例子,可以看出在第一个例子(a)
中的稀疏总是二值,表明每个数据只能属于一个

分类,其他属性表示如下:

  • 《Fuzzy c-means (FCM)聚类算法》
  • 《Fuzzy c-means (FCM)聚类算法》
  • 《Fuzzy c-means (FCM)聚类算法》

参考文献

link

    原文作者:聚类算法
    原文地址: https://blog.csdn.net/chl033/article/details/6112715
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞