scikit-learn系列之分类算法筛查

2019年5月9日 233次阅读 来源: coolspider2015

《scikit-learn系列之分类算法筛查》 算法筛查

算法筛查(spot checking)用来发现可以很好解决机器学习问题的算法。在着手做之前，你永远也不知道哪种算法最契合你的数据。因此你必须尝试大量的算法，找出一个最有潜力的算法，继续深入挖掘。本文中会展示六种适用于分类问题的算法，我们可以使用scikit-learn进行算法筛查。

算法筛查

在为你的机器学习问题选择算法时，问题不是：我应该使用哪种算法？而是：哪些算法可以用于我的算法筛查？你可以推测哪些算法可能适合你的数据集，这是一个好的开始。我推荐尝试混合一些算法，看看哪一个可以最好的反映出你的数据结构。

  1. 尝试混合具有不同表征的算法 (instances and trees)。
  2. 尝试混合不同的学习算法 (different algorithms for learning the same type of representation)。
  3. 尝试混合不同的建模类型的算法 (linear and nonlinear functions or parametric and nonparametric)。

我们将了解6个分类算法，可以用于算法筛查。
两个线性机器学习算法：

  1. Logistic Regression
  2. Linear Discriminant Analysis

四个非线性的机器学习算：

  1. K-Nearest Neighbors
  2. Naive Bayes
  3. Classification and Regression Trees
  4. Support Vector Machines

使用Pima Indians onset of Diabetes 数据集。变量为数值型，是一个关于二分分类问题的数据。统一使用10-fold的交叉验证来展示如何进行算法筛选，使用平均的准确率来代表算法的表现。

6种算法

  1. 逻辑回归假设数值型输入，数值符合高斯分布，用于二分的分类问题。使用LogisticRegression类构建模型。
  2. 线性判别分析用于二分或者多分的分类问题。同样假设数值符合高斯分布。使用LinearDiscriminantAnalysis类构建模型。
  3. K近邻使用距离的方法为新数据找到K个相似的实例，把邻居的平均作为预测结果。使用KNeighborsClassifier类构建模型。
  4. 朴素贝叶斯算法计算每个类别的概率和已知输入值的每个类别的条件概率。新的数据计算以上概率，假设它们彼此独立的情况下，做乘法。使用GaussianNB类构建模型。
  5. 分类和回归数(CART or just decision trees) 使用训练数据构建二分树。通过评价数据变量最小化cost函数来获得分割点。使用DecisionTreeClassifier类构建模型。
  6. 支持向量机找到一条线可以分离两类。与分割线最近的数据实例叫做支持向量，这些支持向量对分离线有决定性影响。该算法的一个要点是使用不同的核函数来建立模型。Radial Basis Function是默认的核函数。使用SVC类构建模型。

代码如下（在原代码的基础上做了一个循环）：

# Logistic Regression Classification
import pandas
from sklearn import model_selection
from sklearn.linear_model import LogisticRegression
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
url = "https://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
dataframe = pandas.read_csv(url, names=names)
array = dataframe.values
X = array[:,0:8]
Y = array[:,8]
seed = 7
kfold = model_selection.KFold(n_splits=10, random_state=seed)
def build_model(model_name):
    model = model_name()
    return model
for model_name in [LogisticRegression,LinearDiscriminantAnalysis,KNeighborsClassifier,GaussianNB,DecisionTreeClassifier,SVC]:
    model = build_model(model_name)
    results = model_selection.cross_val_score(model, X, Y, cv=kfold)
    print("%s mean accuracy:%s")%(model_name,results.mean())

结果如下：

<class 'sklearn.linear_model.logistic.LogisticRegression'> mean accuracy:0.76951469583
<class 'sklearn.discriminant_analysis.LinearDiscriminantAnalysis'> mean accuracy:0.773462064252
<class 'sklearn.neighbors.classification.KNeighborsClassifier'> mean accuracy:0.726555023923
<class 'sklearn.naive_bayes.GaussianNB'> mean accuracy:0.75517771702
<class 'sklearn.tree.tree.DecisionTreeClassifier'> mean accuracy:0.696548188653
<class 'sklearn.svm.classes.SVC'> mean accuracy:0.651025290499

主要知识点

  • model_selection.KFold
  • model_selection.cross_val_score
  • results.mean
  • linear_model.LogisticRegression
  • discriminat_analysis.LinearDiscriminantAnalysis
  • neighbors.KNeighborsClassifier
  • naive_bayes.GaussianNB
  • tree.DecisionTreeClassifier
  • svm.SVC

原文链接：Spot-Check Classification Machine Learning Algorithms in Python with scikit-learn

    原文作者：coolspider2015
    原文地址: https://www.jianshu.com/p/61efd1842afc
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞