1.召回率和正确率计算

对于一个 K K K元的分类结果，我们可以得到一个 K ∗ K K*K K∗K的混淆矩阵,得到的举证结果如下图所示。

从上图所示的结果中不同的元素表示的含义如下：
m i j m_{ij} mij​ ：表示实际分类属于类 i i i，在预测过程中被预测到分类 j j j

对于所有的 m i j m_{ij} mij​可以概括为四种方式不同类型的数据:

T P TP TP（真正）:真正的分类结果属于 i i i预测的结果也属于 i i i，此时对于 m i j m_{ij} mij​ 而言 i = j i=j i=j

F N FN FN（假负）:真正的分类结果不属于分类 i i i预测的分类结果也属于分类 i i i

T N TN TN (真负) :真正的分类结果属于分类 i i i预测的结果不属于分类 i i i

F P FP FP (假正) :真正的分类结果不属于分类 i i i预测的结果属于分类 i i i
那么召回率的计算公式如下：
r e c a l l = T P T P + T N recall=\frac{TP}{TP+TN} recall=TP+TNTP​
p r e c i s i o n = T P T P + F P precision=\frac{TP}{TP+FP} precision=TP+FPTP​
其中：

T P p = m p p TP_p=m_{pp} TPp​=mpp​:表示对于类 p p p而言预测正确的个体的数目。

T N p = ∑ i = 1 , i ≠ p k m p i TN_p=\sum_{i=1,i\neq p}^{k}{m_{pi}} TNp​=∑i=1,i​=pk​mpi​:表示对本来属于分类 p p p，预测的结果不属于分类 p p p的个数。

F P p = ∑ i = 1 , i ≠ p k m i p FP_p=\sum_{i=1,i\neq p}^{k}{m_{ip}} FPp​=∑i=1,i​=pk​mip​:表示对于本来不属于分类 p p p的个体，预测的结果属于分类 p p p的个数。

2 随机森林中召回率和正确率的计算

import org.apache.log4j.{Level, Logger}
import org.apache.spark.mllib.evaluation.MulticlassMetrics
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.tree.RandomForest
import org.apache.spark.mllib.tree.model.RandomForestModel
import org.apache.spark.mllib.util.MLUtils
import org.apache.spark.rdd.RDD

/**
  * Created by august on 17-6-1.
  */
object Main {

  var beg = System.currentTimeMillis()
  //设置日志文件为错误显示
  Logger.getLogger("org").setLevel(Level.ERROR)

  //设置application名称，并创建入口对象
  val conf = new SparkConf().setAppName("rf")
  val sc = new SparkContext(conf)

  //加载hadoop中的数据信息,这里将IP地址信息隐去
  val data = MLUtils.loadLibSVMFile(sc,"hdfs://***.***.***.***:8020/august/random_forest/Day2.txt")

  // 将数据信息划分为70%的测试集和30%的训练集
  val splits = data.randomSplit(Array(0.7, 0.3))
  val (trainingData, testData) = (splits(0), splits(1))

  //将数据一共分成12个类
  val numClasses = 13
  val categoricalFeaturesInfo = Map[Int, Int]()
  val numTrees = 100
  val featureSubsetStrategy = "auto" // Let the algorithm choose.
  val impurity = "entropy"
  val maxDepth = 10
  val maxBins = 32
  val model = RandomForest.trainClassifier(trainingData, numClasses, categoricalFeaturesInfo,
    numTrees, featureSubsetStrategy, impurity, maxDepth, maxBins)
  val metrics = getMetrics(model,testData)
  //计算精确度(样本比例)
  val precision = metrics.accuracy;
  //计算每个样本的准确度(召回率)
  val recall = (1 to 11).map(     //DecisionTreeModel模型的类别号从1开始
    cat => (metrics.precision(cat), metrics.recall(cat))
  )
  val end = System.currentTimeMillis()
  //耗时时间
  var castTime = end - beg

  def main(args: Array[String]) {
    println("========================================================================================")
    //精确度(样本比例)
    println("精确度: " + precision)
    println("========================================================================================")
    //准确度(召回率)
    println("准确度: ")
    recall.foreach(println)
    println("========================================================================================")
    println(" 运行程序耗时: " + castTime/1000 + "s")
  }
  def getMetrics(model: RandomForestModel, data: RDD[LabeledPoint]): MulticlassMetrics = {
    val predictionsAndLabels = data.map(example => (model.predict(example.features), example.label))
    new MulticlassMetrics(predictionsAndLabels)
  }
}

在上述代码中，实现了对于随机森林分类后的结果计算召回率和每一个类的准确率。
##2.1 数据获取并生成训练集和测试集
在下述代码中我们主要进行了以下工作:

(1)设置spark日志输出信息为Level.ERROR，在错误状态下输出日志信息。

(2)设置Application的入口对象。

(3)从Hadoop中获取数据信息，值的注意的是这里的数据信息的数据格式为libsvm格式，从一般数据格式转换到libsvm格式的转换方式可以参考另一篇文章。

(4)将所有的数据信息划分为traingingData训练集和testData测试集,其中trainingData占数据集中的70%,testData占30%。

Logger.getLogger("org").setLevel(Level.ERROR)
val conf = new SparkConf().setAppName("rf")
val sc = new SparkContext(conf)
val data = MLUtils.loadLibSVMFile(sc, "hdfs://***.***.***.***:8020/august/random_forest/Day2.txt")
val splits = data.randomSplit(Array(0.7, 0.3))
val (trainingData, testData) = (splits(0), splits(1))

##2.2 设置随机森林参数并训练模型
在RandomForest.trainClassifier中对随机森林模型进行训练，将训练后模型的结果返回到model里面。在训练随机森林模型前对参数的设置如下:

numClasses：表示一共分为多少个类。
categoricalFeaturesInfo:为空，表示所有的特征为连续型变量
numTrees:表示随机森林里面包含的决策树的个数
featureSubsetStrategy:表示特征子集的选取方式。
impurity:“entropy”表示纯度的计算方式采用信息熵的方式计算。
maxDepth:表示数的最大深度为10
maxBins:表示最大装箱数为32

val numClasses = 13
val categoricalFeaturesInfo = Map[Int, Int]()
val numTrees = 100
val featureSubsetStrategy = "auto" // Let the algorithm choose.
val impurity = "entropy"
val maxDepth = 10
val maxBins = 32
val model = RandomForest.trainClassifier(trainingData, numClasses, categoricalFeaturesInfo,
  numTrees, featureSubsetStrategy, impurity, maxDepth, maxBins)

##2.3 计算正确率和召回率
函数功能:在Spark API中给出的MulticlassMetrics文档显示，建立一个MulticlassMetrics使用RDD作为参数传入，在RDD中是保存了一个两个Double类型的数据，其中第一个表示预测的结果，第二个表示标签的结果。

传入参数:model: RandomForestModel, data: RDD[LabeledPoint]其中model表示训练出来的随机森林模型，data用来表示测试数据集合。

返回结果:返回一个MulticlassMetrics的实例对象，用来计算整个数据集合的准确度和不同类的准确度。

  def getMetrics(model: RandomForestModel, data: RDD[LabeledPoint]): MulticlassMetrics = {
    val predictionsAndLabels = data.map(example => (model.predict(example.features), example.label))
    new MulticlassMetrics(predictionsAndLabels)
  }

在下述的代码中，我们通过对每一个类求出precision的值recall的值存放在recall中。

  val metrics = getMetrics(model,testData)
  //计算精确度(样本比例)
  val precision = metrics.accuracy;
  //计算每个样本的准确度(召回率)
  val recall = (1 to 11).map(     //DecisionTreeModel模型的类别号从0开始
    cat => (metrics.precision(cat), metrics.recall(cat))
  )

#3. 实验结果
我们通过下述代码输出实验结果。

def main(args: Array[String]) {
    println("========================================================================")
    //精确度(样本比例)
    println("精确度: " + precision)
    println("========================================================================")
    //准确度(召回率)
    println("准确度: ")
    recall.foreach(println)
    println("========================================================================")
    println(" 运行程序耗时: " + castTime/1000 + "s")
  }

运行程序得到的实验结果如下图所示。