在大数据如火如荼的时候，机器学习无疑成为了炙手可热的工具，机器学习是计算机科学和统计学的交叉学科， 旨在通过收集和分析数据的基础上，建立一系列的算法，模型对实际问题进行预测或分类。 R语言无疑为我们提供了很好的工具，它正是计算机科学和统计科学结合的产物，开源免费， 相对于Python、Orange Canvas、Weka、Kinme这些免费的数据挖掘软件来说，更容易上手，统计图形也更加美观。 今天在这里和大家介绍一下Caret机器学习包的一些基本用法。   一、数据收集       下载kernlab包里的spam数据集，spam是一个邮件数据集，共有4601个观测值，58个变量，最后一个变量是一个二值变量，“spam”和“no spam”，我们要做的工作就是通过建立模型了预测观测值是否为“spam”。首先加载软件包和数据集：   > library(caret) 载入需要的程辑包：lattice 载入需要的程辑包：ggplot2 警告信息： 1: 程辑包‘caret’是用R版本3.1.1 来建造的  2: 程辑包‘ggplot2’是用R版本3.1.1 来建造的  > library(kernlab) 警告信息： 程辑包‘kernlab’是用R版本3.1.3 来建造的  > data(spam) > head(spam)   make address  all num3d  our over remove internet order mail 1 0.00    0.64 0.64     0 0.32 0.00   0.00     0.00  0.00 0.00 2 0.21    0.28 0.50     0 0.14 0.28   0.21     0.07  0.00 0.94 3 0.06    0.00 0.71     0 1.23 0.19   0.19     0.12  0.64 0.25 4 0.00    0.00 0.00     0 0.63 0.00   0.31     0.63  0.31 0.63 5 0.00    0.00 0.00     0 0.63 0.00   0.31     0.63  0.31 0.63 6 0.00    0.00 0.00     0 1.85 0.00   0.00     1.85  0.00 0.00   receive will people report addresses free business email  you 1    0.00 0.64   0.00   0.00      0.00 0.32     0.00  1.29 1.93 2    0.21 0.79   0.65   0.21      0.14 0.14     0.07  0.28 3.47 3    0.38 0.45   0.12   0.00      1.75 0.06     0.06  1.03 1.36 4    0.31 0.31   0.31   0.00      0.00 0.31     0.00  0.00 3.18 5    0.31 0.31   0.31   0.00      0.00 0.31     0.00  0.00 3.18 6    0.00 0.00   0.00   0.00      0.00 0.00     0.00  0.00 0.00   credit your font num000 money hp hpl george num650 lab labs telnet 1   0.00 0.96    0   0.00  0.00  0   0      0      0   0    0      0 2   0.00 1.59    0   0.43  0.43  0   0      0      0   0    0      0 3   0.32 0.51    0   1.16  0.06  0   0      0      0   0    0      0 4   0.00 0.31    0   0.00  0.00  0   0      0      0   0    0      0 5   0.00 0.31    0   0.00  0.00  0   0      0      0   0    0      0 6   0.00 0.00    0   0.00  0.00  0   0      0      0   0    0      0   num857 data num415 num85 technology num1999 parts pm direct cs 1      0    0      0     0          0    0.00     0  0   0.00  0 2      0    0      0     0          0    0.07     0  0   0.00  0 3      0    0      0     0          0    0.00     0  0   0.06  0 4      0    0      0     0          0    0.00     0  0   0.00  0 5      0    0      0     0          0    0.00     0  0   0.00  0 6      0    0      0     0          0    0.00     0  0   0.00  0   meeting original project   re  edu table conference charSemicolon 1       0     0.00       0 0.00 0.00     0          0          0.00 2       0     0.00       0 0.00 0.00     0          0          0.00 3       0     0.12       0 0.06 0.06     0          0          0.01 4       0     0.00       0 0.00 0.00     0          0          0.00 5       0     0.00       0 0.00 0.00     0          0          0.00 6       0     0.00       0 0.00 0.00     0          0          0.00   charRoundbracket charSquarebracket charExclamation charDollar 1            0.000                 0           0.778      0.000 2            0.132                 0           0.372      0.180 3            0.143                 0           0.276      0.184 4            0.137                 0           0.137      0.000 5            0.135                 0           0.135      0.000 6            0.223                 0           0.000      0.000   charHash capitalAve capitalLong capitalTotal type 1    0.000      3.756          61          278 spam 2    0.048      5.114         101         1028 spam 3    0.010      9.821         485         2259 spam 4    0.000      3.537          40          191 spam 5    0.000      3.537          40          191 spam 6    0.000      3.000          15           54 spam   二、数据划分       机器学习一般将数据划分成训练数据、验证数据（可选）、测试数据、三个部分，训练数据和验证数据用来训练模型，估计模型的具体参数，测试数据用来验证模型预测的准确程度。下面我们就对spam这个数据进行划分 inTrain <- createDataPartition(y=spam$type,p=0.75,list=FALSE) training <- spam[inTrain, ] testing <- spam[-inTrain, ] nrow(training) [1] 3451 nrow(testing) [1] 1150   以上命令中createDataPartition( )就是数据划分函数，对象是spam$typ，p=0.75表示训练数据所占的比例为75%，list是输出结果的格式，默认list=FALSE。 training <- spam[inTrain, ]，testing <- spam[-inTrain, ]分别制定具体的训练数据和测试数据。   三、训练模型        以上的工作完成后就可以将训练数据放入训练器中对模型参数进行训练了 modelFit <- train(type~.,data=training,method=”glm”) train( )函数就是我们的训练器，type~是回归方程，data=training指定数据集，method=”glm”指定具体的模型形式，这里我们用的是glm估计，当然读者也可以用SVM（支持向量机），nnet神经网络等其他模型形式，以下是模型的具体内容： modelFit$finalModel Coefficients: (Intercept) make address all num3d  -1.989e+00 -5.022e-01 -1.702e-01 1.553e-01 3.368e+00  our over remove internet order  7.554e-01 6.682e-01 2.220e+00 5.586e-01 1.144e+00  mail receive will people report  Degrees of Freedom: 3450 Total (i.e. Null); 3393 Residual Null Deviance: 4628  Residual Deviance: 1335 AIC: 1451（篇幅有限，中间有删减）   四、验证模型        当模型的参数全部训练完毕后，就要将测试数据带入模型中进行验证预测了 predictions <- predict(modelFit,newdata=testing) predictions####预测结果如下 [1] spam spam spam spam spam spam spam spam spam spam spam  [12] spam spam spam spam spam spam spam spam spam spam spam  [23] nonspam spam spam spam spam spam spam nonspam spam spam spam  [34] spam spam spam spam spam spam spam spam spam spam spam  [45] spam spam spam spam spam spam spam spam spam spam spam    五、错误分类矩阵       想知道模型预测的准确率如何呢？这个时候就要用到错误分类矩阵了，将模型预测的值和真实的值进行比较，计算错误分类率。通过观察错误分类矩阵，我们可知准确率为0.9252，结果还是很理想的。   confusionMatrix(predictions,testing$type)####输出结果如下   Confusion Matrix and Statistics   Reference Prediction nonspam spam nonspam 658 47 spam 39 406   Accuracy : 0.9252  95% CI : (0.9085, 0.9398) No Information Rate : 0.6061  P-Value [Acc > NIR] : <2e-16    Kappa : 0.8429  Mcnemar’s Test P-Value : 0.4504    Sensitivity : 0.9440  Specificity : 0.8962  Pos Pred Value : 0.9333  Neg Pred Value : 0.9124  Prevalence : 0.6061  Detection Rate : 0.5722  Detection Prevalence : 0.6130  Balanced Accuracy : 0.9201      实例2： library(caret) library(mlbench) data(Sonar) set.seed(107) inTrain<-createDataPartition(y = Sonar$Class,##the outcome data are needed p=.75,##The percentage of data in the training set list = FALSE##the format of the results ) #The output is a set of integers for the rows of Sonar #that belong in the training set. > str(inTrain)  int [1:157, 1] 98 100 101 102 103 105 107 109 110 111 …  – attr(*, “dimnames”)=List of 2   ..$ : NULL   ..$ : chr “Resample1”   > training <- Sonar[inTrain,] > testing <- Sonar[-inTrain,] > nrow(training) [1] 157   > nrow(testing) [1] 51   1) library(pls) plsFit <- train(Class~.,data = training, method = ‘pls’,#Center and scale the predictors for the training set and all future samples, preProc = c(“center”,”scale”)) plot(plsFit) 2) plsFit <- train(Class~.,data = training, method = ‘pls’, tuneLength = 15, preProc = c(“center”,”scale”)) plot(plsFit) 3) ctrl <-trainControl(method = “repeatedcv”,repeats=3) plsFit <- train(Class~.,data = training, method = ‘pls’, tuneLength = 15, trControl = ctrl, preProc = c(“center”,”scale”)) plot(plsFit) 4) ctrl <- trainControl(method = “repeatedcv”,repeats=3, classProbs = TRUE, summaryFunction = twoClassSummary) plsFit <-train(Class~., data = training, tuneLength = 15, trControl = ctrl, metric = “ROC”, preProc = C(“center”,”scale”))   > plsFit Partial Least Squares    157 samples  60 predictor   2 classes: ‘M’, ‘R’    Pre-processing: centered, scaled  Resampling: Cross-Validated (10 fold, repeated 3 times)    Summary of sample sizes: 141, 141, 142, 141, 140, 142, …    Resampling results across tuning parameters:     ncomp  Accuracy  Kappa  Accuracy SD  Kappa SD    1     0.729     0.460  0.1291       0.254       2     0.807     0.614  0.0896       0.176       3     0.788     0.577  0.0880       0.176       4     0.780     0.558  0.0783       0.158       5     0.757     0.512  0.0953       0.193       6     0.762     0.524  0.0925       0.185       7     0.752     0.504  0.0943       0.188       8     0.739     0.477  0.0743       0.148       9     0.745     0.491  0.0861       0.170      10     0.747     0.493  0.0791       0.156      11     0.736     0.472  0.0845       0.167      12     0.758     0.514  0.0887       0.177      13     0.730     0.458  0.0883       0.176      14     0.734     0.466  0.0916       0.182      15     0.743     0.483  0.0964       0.193      Accuracy was used to select the optimal model using  the largest value. The final value used for the model was ncomp = 2.      >  plsClasses <- predict(plsFit,newdata = testing) > str(plsClasses)  Factor w/ 2 levels “M”,”R”: 2 1 1 2 1 2 2 2 2 2 … > plsProbs <- predict(plsFit,newdata = testing,type = “prob”) > head(plsProbs)            M         R 4  0.3762529 0.6237471 5  0.5229047 0.4770953 8  0.5839468 0.4160532 16 0.3660142 0.6339858 20 0.7351013 0.2648987 25 0.2135788 0.7864212 > confusionMatrix(data = plsClasses,testing$Class) Confusion Matrix and Statistics             Reference Prediction  M  R          M 20  7          R  7 17                                                           Accuracy : 0.7255                            95% CI : (0.5826, 0.8411)     No Information Rate : 0.5294               P-Value [Acc > NIR] : 0.003347                                                                      Kappa : 0.4491            Mcnemar’s Test P-Value : 1.000000                                                                Sensitivity : 0.7407                       Specificity : 0.7083                    Pos Pred Value : 0.7407                    Neg Pred Value : 0.7083                        Prevalence : 0.5294                    Detection Rate : 0.3922              Detection Prevalence : 0.5294                 Balanced Accuracy : 0.7245                                                             ‘Positive’ Class : M          转自：
http://blog.163.com/zhoulili1987619@126/blog/static/3530820120153811110754/