1.载入数据集

scikit-learn里面自带了一些标准数据集，例如用于分类的数据集iris和digits，以及用于回归的boston房价数据集。下面是用从shell中启动一个python解释器并且加载iris和digits。约定的符号是：$ 代表shell传输；>>>代表python解释器。

>>> from sklearn import datasets
>>> iris = datasets.load_iris()
>>> digits = datasets.load_digits()

数据存储在digits.data中，这是一个1797*64的数组，其中1797代表样本数目，64代表特征数目：

>>> print(digits.data)
 [[ 0. 0. 5. ..., 0. 0. 0.] [ 0. 0. 0. ..., 10. 0. 0.] [ 0. 0. 0. ..., 16. 9. 0.] ..., [ 0. 0. 1. ..., 6. 0. 0.] [ 0. 0. 2. ..., 12. 0. 0.] [ 0. 0. 10. ..., 12. 1. 0.]]

标签为digits.target，维度：1797*1：

>>> digits.targetarray
([0, 1, 2, ..., 8, 9, 8])

2.数据arrays的shape

数据是一般都是二维数组，但是不同问题的初始数据都会有不同的形状，以digits数据集为例，每个sample是一个8*8的数组。

>>> digits.images[0]
array（[[ 0., 0., 5., 13., 9., 1., 0., 0.], 
[ 0., 0., 13., 15., 10., 15., 5., 0.], 
[ 0., 3., 15., 2., 0., 11., 8., 0.], 
[ 0., 4., 12., 0., 0., 8., 8., 0.], 
[ 0., 5., 8., 0., 0., 9., 8., 0.], 
[ 0., 4., 11., 0., 1., 12., 7., 0.], 
[ 0., 2., 14., 5., 10., 12., 0., 0.], 
[ 0., 0., 6., 13., 10., 0., 0., 0.]])

3.学习和预测：

在digits数据集里面，任务是预测，也就是给定一个图片，输出其所属的类别。根据训练数据，fit一个评估器，能够预测未出现样本的所属。这里举例的评估器是sklearn.svm.SVC，用的是支持向量机分类方法。在scikit-learn中，一个用于分类的评估器是一个python对象，主要实现了两个方法：fit(X,y)和predict(T)。

>>> from sklearn import svm
>>> clf = svm.SVC(gamma=0.001, C=100.)

如何选择模型参数

在这个例子中需要手动的设置参数，比如说gamma。但是我们可以通过一些工具来自动的调整参数，例如：grid search和cross validation。我们的评估器实例叫做clf，它是一个分类器。我们把训练集传给fit方法，让分类器去学习这个模型。在这里，选择了数据集中除了最后一个的所有图片，因为最后一个下一步将会用来预测，所以这里不学习最后一个样本。

>>> clf.fit(digits.data[:-1], digits.target[:-1]) 
SVC(C=100.0, cache_size=200, class_weight=None, coef0=0.0, 
decision_function_shape=None, degree=3, gamma=0.001, 
kernel='rbf', max_iter=-1, probability=False, random_state=None, 
shrinking=True, tol=0.001, verbose=False)

下面来用最后一张图片来预测新值：

>>> clf.predict(digits.data[-1:])
array([8])

用matplot绘图：

print(__doc__)
# Code source: Gaël Varoquaux
# Modified for documentation by Jaques Grobler
# License: BSD 3 clause
from sklearn import datasets
import matplotlib.pyplot as plt
#Load the digits dataset
digits = datasets.load_digits()
#Display the first digit
plt.figure(1, figsize=(3, 3))
plt.imshow(digits.images[-1], cmap=plt.cm.gray_r, interpolation='nearest')
plt.show()

4.模型固化

在scikit里，可通过python的内置持久化模型pickle来保存模型。

>>> from sklearn import svm
>>> from sklearn import datasets
>>> clf = svm.SVC()
>>> iris = datasets.load_iris()
>>> X, y = iris.data, iris.target
>>> clf.fit(X, y)
 SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, 
decision_function_shape=None, degree=3, gamma='auto', 
kernel='rbf', max_iter=-1, probability=False, random_state=None,
 shrinking=True, tol=0.001, verbose=False)

>>> import pickle
>>> s = pickle.dumps(clf)
>>> clf2 = pickle.loads(s)
>>> clf2.predict(X[0:1])
array([0])
>>> y[0]
0

在这里也可以用joblib代替pickle（joblib.dump&joblib.load），对于大数据处理joblib更加有效。用法如下：

>>> from sklearn.externals import joblib
>>> joblib.dump(clf, 'filename.pkl')
>>> clf = joblib.load('filename.pkl') 

注意：
joblib.dump返回的是一系列的文件名。
在文件系统中，clf对象中每一个numpy数组都被序列化作为一个单独的文件。在重新载入模型的时候（joblib.load），同一文件夹中的所有的文件都是需要的。

5.约定

为了增加预测性，scikit-learn评估器遵循下面几个规则：

（1）类型转换

如果不是特殊情况，输入将被转化为float64类型的。
在下面的例子中，X是float32，我们用fit_transform(X)将其转化成float64。

>>> import numpy as np
>>> from sklearn import random_projection
>>> rng = np.random.RandomState(0)
>>> X = rng.rand(10, 2000)
>>> X = np.array(X, dtype='float32')
>>> X.dtype
dtype('float32')
>>> transformer = random_projection.GaussianRandomProjection()
>>> X_new = transformer.fit_transform(X)
>>> X_new.dtype
dtype('float64')

回归的target被转化为float64类型的，而分类的classification的target是保持不变的:

>>> from sklearn import datasets
>>> from sklearn.svm import SVC
>>> iris = datasets.load_iris()
>>> clf = SVC()
>>> clf.fit(iris.data, iris.target)
 SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, 
decision_function_shape=None, degree=3, gamma='auto', 
kernel='rbf', max_iter=-1, probability=False, random_state=None, 
shrinking=True, tol=0.001, verbose=False)

>>> list(clf.predict(iris.data[:3]))
[0, 0, 0]

>>> clf.fit(iris.data, iris.target_names[iris.target])
 SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, 
decision_function_shape=None, degree=3, gamma='auto', 
kernel='rbf', max_iter=-1, probability=False, random_state=None, 
shrinking=True, tol=0.001, verbose=False)

>>> list(clf.predict(iris.data[:3]))
 ['setosa', 'setosa', 'setosa']

在这里，因为iris.target是一个整形数组，所以第一个predict()返回的是一个整形数组。又因为iris.target_names是一个字符串数组，所以第二个predict()返回的是一个字符串数组。

（2）重新拟合参数和更新参数

sklearn.pipeline.Pipeline.set_params：一个评估器的超参数更新。
多次调用fit()将会重写之前学习到的fit()。

>>> import numpy as np
>>> from sklearn.svm import SVC
>>> rng = np.random.RandomState(0)
>>> X = rng.rand(100, 10)
>>> y = rng.binomial(1, 0.5, 100)
>>> X_test = rng.rand(5, 10)

>>> clf = SVC()
>>> clf.set_params(kernel='linear').fit(X, y) 
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, 
decision_function_shape=None, degree=3, gamma='auto', 
kernel='linear', max_iter=-1, probability=False, random_state=None, 
shrinking=True, tol=0.001, verbose=False)
>>> clf.predict(X_test)
array([1, 0, 1, 1, 0])

>>> clf.set_params(kernel='rbf').fit(X, y)
 SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, 
decision_function_shape=None, degree=3, gamma='auto', 
kernel='rbf', max_iter=-1, probability=False, random_state=None, 
shrinking=True, tol=0.001, verbose=False)
>>> clf.predict(X_test)
array([0, 0, 0, 1, 0])

在这里，通过SVC()创建了评估器以后，默认的kernel rbf第一次被改变为linear，然后又重新改回rbf，去重拟合评估器并且做了二次预测。