Spark-MLlib-SVM源码实现分析

注:MLlib中的SVM只实现了线性二分类。没有非线性(核函数),也没有多分类和回归。线性二分类的优化过程类似于逻辑回归。以下从三个方面进行分析:(一)SVM的目标函数、损失函数和最优化方法。(二)从MLlib实现的源码分析模型创建以及优化的过程。(三)参考ML中NaiveBayes的实现,探索SVM-Pipeline的实现思路。

一、SVM 公式

1.1 目标函数

目标函数:** y = wx **
(注:w是超平面的法向量)

1.2 损失函数

损失函数:HingeGradient
公式:** avg( max(0, 1 – (2 y – 1) f_w(x))) )**
(注:0 1分类label,在svm中要转为 -1,1 <- (2y -1))

1.3 优化函数(随机梯度下降)

梯度:** -(2y – 1) * x **
正则项:** L2 = (1/2) * w^2 **
梯度更新方法:** weight = weight – lambda (gradient + regParam * weight) **

二、MLlib源码实现分析

下图是SVMWithSGD的类图,SVMWithSGD继承了GeneralizdLinearAlgorithm。run()方法会调用optimitor:GradientDescent(gradient, updater)优化得到模型的权值参数weights,并调用createModel(weights)方法new一个SVMModel,返回SVMModel。

《Spark-MLlib-SVM源码实现分析》 SVMWithSGD类图

2.1 创建SVM模型入口

2.1.1 SVMWithSGD 伴生对象(单例对象)

org.apache.spark.mllib.classification.SVMWithSGD
  线性SVM伴生对象是SVMWithSGD,是建立SVM分类模型的入口。它定义了训练SVM分类模型的train方法。

《Spark-MLlib-SVM源码实现分析》

2.1.2 GeneralizdLinearAlgorithm的run执行模型训练

org.apache.spark.mllib.regression.GeneralizdLinearAlgorithm

《Spark-MLlib-SVM源码实现分析》

2.2 SVMWithSGD 类设置损失函数-最优化方法

org.apache.spark.mllib.classification.SVMWithSGD
  分别创建** 梯度下降方法HingeGradient ** 和 ** L2正则化权重更新方法SquaredL2Updater**,两者封装在GradientDescent中,作为优化器optimizer。

《Spark-MLlib-SVM源码实现分析》

2.2.1 HingeGradient

org.apache.spark.mllib.optimization.HingeGradient
  损失函数:max(0, 1 – (2 y – 1) f_w(x)))
  梯度:-(2y – 1) * x

《Spark-MLlib-SVM源码实现分析》

2.2.2 SquaredL2Updater

org.apache.spark.mllib.optimization.SquaredL2Updater
  梯度更新方法:** weight = weight – lambda (gradient + regParam * weight) **

《Spark-MLlib-SVM源码实现分析》

2.3 优化过程的入口:GradientDescent

org.apache.spark.mllib.optimization.GradientDescent
迭代优化的过程如下:
while( 未收敛 并且 小于迭代次数 ) {
  计算本次迭代抽样样本的梯度和,以及损失和(调用HingeGradient
  记录本次迭代的平均误差(loss)
  更新权重(调用SquaredL2Updater
  判断是否收敛

}

《Spark-MLlib-SVM源码实现分析》

三、Pipeline实现探索

Spark MLlib的Pipeline,是指将多个机器学习的算法串联到一个工作链中,依次执行各种算法;其出现旨在向用户提供基于 DataFrame 之上的更加高层次的 API 库,以便构建复杂的机器学习工作流式应用。
  一个 Pipeline 在结构上会包含一个或多个 PipelineStage,每一个 PipelineStage 都会完成一个任务,如数据集处理转化,模型训练,参数设置或数据预测等。

3.1 参考NaiveBayes

3.1.1 R->pkg->R->mllib.R

mllib.R中将NaiveBayesWrapper封装为sparkR中的naiveBayes方法

《Spark-MLlib-SVM源码实现分析》

3.1.2 NaiveBayesWrapper生成一个Pipeline

org.apache.spark.ml.r.NaiveBayesWrapper

《Spark-MLlib-SVM源码实现分析》

3.1.3 NaiveBayes

org.apache.spark.ml.classification.NaiveBayes
  **将dataset转成RDD,并New一个MLlib中的NaiveBayes来训练模型 **

《Spark-MLlib-SVM源码实现分析》
《Spark-MLlib-SVM源码实现分析》

3.2 SVM-Pipeline思考

参照以上NaiveBayes的实现,需要在R中的mllib.R中实现一个setMethod的方法,以及在ML里实现** SVMWithSGD 类和 SVMWithSGDWrapper **类。

点赞