聚类算法

聚类，Cluster analysis，有时也被翻译为簇类，其核心任务是：将一组目标object划分为若干个簇，每个簇之间的object尽可能的相似，簇与簇之间的 object尽可能的相异。聚类算法是机器学习（或者说是数据挖掘更合适）中重要的一部分，除了最为简单的K-Means聚类算法外，较常见的还有：层次 法（CURE、CHAMELEON等）、网格算法（STING、WaveCluster等）等等。

较权威的聚类问题定义：所谓聚类问题，就是给定一个元素集合D，其中每个元素具有n个可观察属性，使用某种算法将D划分成k个子集，要求每个子集内部的元素之间相异度尽可能低，而不同子集的元素相异度尽可能高。其中每个子集叫做一个簇。

与分类不同，分类是示例式学习，要求分类前明确各个类别，并断言每个元素映射到一个类别，而聚类是观察式学习，在聚类前可以不知道类别甚至不给定类别数量，是无监督学习的一种。目前聚类广泛应用于统计学、生物学、数据库技术和市场营销等领域，相应的算法也非常的多。

1. 随机选择K个中心点
2. 计算所有点到这K个中心点的距离，选择距离最近的中心点为其所在的簇
3. 简单的采用算术平均数（mean）来重新计算K个簇的中心
4. 重复步骤2和3,直至簇类不在发生变化或者达到最大迭代值
5. 输出结果
   K-Means算法的结果好坏依赖于对初始聚类中心的选择，容易陷入局部最优解，对K值的选择没有准则可依循，对异常数据较为敏感，只能处理数值属性的数据，聚类结构可能不平衡。

package com.eric.spark.mllib.kmeans

import org.apache.log4j.{Level, Logger}
import org.apache.spark.mllib.clustering.KMeans
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.{SparkConf, SparkContext}

/**
 * 该程序主要通过kmeans算法对数据进行分类
 *执行方式：./spark-submit --master=spark://cloud25:7077 --class com.eric.spark.mllib.KMeansSample --executor-memory=2g /opt/cloud/spark-1.4.1-bin-hadoop2.6/lib/spark_scala.jar
 * Created by Eric on 2015/11/12.
 */
object KMeansSample {
def main(args: Array[String]) {
    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)

//设置环境
val sparkConconf=new SparkConf().setAppName("KMeansSample")
val sparkContext=new SparkContext(sparkConconf)

//装载数据
val fileData=sparkContext.textFile("/data/mllib/kmeans_data.txt",1)
val parseData=fileData.map(record=>Vectors.dense(record.split(" ").map(_.toDouble)))

//模型训练
val dataModelNumber=2;
val dataModelTrainTimes=20
val model=KMeans.train(parseData,dataModelNumber,dataModelTrainTimes)

//数据模型的中心点
//    运行结果:
//      Cluster centers:
//    [0.1,0.1,0.1]
//    [9.1,9.1,9.1]
println("Cluster centers:")
for (c <- model.clusterCenters) {
      println("  " + c.toString)
    }

//使用模型测试单点数据
    //运行结果
//    Vectors 0.2 0.2 0.2 is belongs to clusters:0
//    Vectors 0.25 0.25 0.25 is belongs to clusters:0
//    Vectors 8 8 8 is belongs to clusters:1
println("Vectors 0.2 0.2 0.2 is belongs to clusters:" + model.predict(Vectors.dense("0.2 0.2 0.2".split(' ').map(_.toDouble))))
    println("Vectors 0.25 0.25 0.25 is belongs to clusters:" + model.predict(Vectors.dense("0.25 0.25 0.25".split(' ').map(_.toDouble))))
    println("Vectors 8 8 8 is belongs to clusters:" + model.predict(Vectors.dense("8 8 8".split(' ').map(_.toDouble))))


//交叉评估1，只返回结果
val testdata = fileData.map(s =>Vectors.dense(s.split(' ').map(_.toDouble)))
val result1 = model.predict(testdata)
    result1.saveAsTextFile("/data/mllib/result1")

//交叉评估2，返回数据集和结果
val result2 = fileData.map {
      line =>
val linevectore = Vectors.dense(line.split(' ').map(_.toDouble))
val prediction = model.predict(linevectore)
        line + " " + prediction
    }.saveAsTextFile("/data/mllib/result2")

    sparkContext.stop()


  }
}