【1%】100小时机器学习——数据预处理

2019年5月19日 133次阅读 来源: JustMe23

总目录链接

数据预处理

前言：

  • What’s This：我自己的学习笔记，如果你不想看GitHub，这里搬运的应该也很全面。
  • 为什么要学机器学习：很厉害，应用广，缺口大，解放人力，提升自己
  • 课程来源：YouTube上的大咖Siraj Raval就发起了一个挑战：#100DaysOfMLCode。
  • GitHUb地址：中文版本点这里 —— Here For English Edition
  • 学习计划： 不强求每天都来，佛性随性，每天课程量不大，所以我把100天改成了100小时，所以只要坚持同等与两周工作量的时间里，就能完成本课程。学到就是收获。
  • 基础要求： Python的使用

Start

《【1%】100小时机器学习——数据预处理》 Day 1.jpg

Step 0: 环境

Mine——Windows10x64， Python2.7， Hyper（推荐，比原生的命令窗口好看一点。在人工智能飞速发展的当下，培养艺术审美能力是赢得未来的重要技能）

Step 1： 导入必要的库

NumPy——用于实现大量的数学计算
Pandas——用于操作数据集
So easy， 直接Python pip安装。
pip install Numpy
pip install Pandas
后边数据预处理还会用到 sklearn库
pip install sklearn
然后sklearn又依赖scipy
pip install scipy
还有一个必备的
pip install matplotlib
整理如下，可以直接复制粘贴进行安装相关依赖库

pip install Numpy Pandas scipy sklearn matplotlib

装这个可能要15分钟左右，可以去上个厕所，弹弹吉他，打会儿太极拳，或者找女朋友聊会儿天。下边的内容等装好了边看边动手做。

Step 2: 导入数据集

Data sets一般以.csv格式存储，内容为纯文本样式的表格，每行代表了一条数据record.这里使用 pandas的 read_csv 方法读取本地的csv文件作为数据帧， 然后从数据帧中制作自变量和因变量的矩阵(Matrix)和向量(Vector)。
Data sets右键另存为下载

import numpy as np
import pandas as pd
data = r'your/path/to/store/Data.csv'
dataset = pd.read_csv(data)

看一眼dataset是啥样子

dataset
   Country   Age   Salary Purchased
0   France  44.0  72000.0        No
1    Spain  27.0  48000.0       Yes
2  Germany  30.0  54000.0       No
3    Spain  38.0  61000.0        No
4  Germany  40.0      NaN       Yes
5   France  35.0  58000.0       Yes
6    Spain   NaN  52000.0        No
7   France  48.0  79000.0       Yes
8  Germany  50.0  83000.0        No
9   France  37.0  67000.0       Yes

继续操作
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 3].values
这里可以理解为类似Python序列的分片操作，得到自己想要的数据组合
看一下我们的X，Y：

>>> X
array([['France', 44.0, 72000.0],
       ['Spain', 27.0, 48000.0],
       ['Germany', 30.0, 54000.0],
       ['Spain', 38.0, 61000.0],
       ['Germany', 40.0, nan],
       ['France', 35.0, 58000.0],
       ['Spain', nan, 52000.0],
       ['France', 48.0, 79000.0],
       ['Germany', 50.0, 83000.0],
       ['France', 37.0, 67000.0]], dtype=object)

>>> Y
array(['No', 'Yes', 'No', 'No', 'Yes', 'Yes', 'No', 'Yes', 'No', 'Yes'],
      dtype=object)

Step 3: 处理丢失的数据

对于数据的完整性来说，我国伟大的文学家苏轼早就有了“此事古难全”的重要论断。因此为了不影响机器学习模型的性能，我们用同类数据的均值或中间值来替代。此处用到sklearn.preprocessing库中的Impputer类来完成相关操作。

from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values = "NaN", strategy = "mean", axis = 0)
imputer = imputer.fit(X[ : , 1:3])
X[ : , 1:3] = imputer.transform(X[ : , 1:3])

简单解释一下代码，导入就不用说了，
第一句是初始化了一个imputer类，传入的参数分别为missing_values，设置为NaN，替换策略strategy为mean，即用均值替代丢失值，axis设置为0。
第二句用新建的imputer类来fit一下X。
第三句完成缺失数据的替代。
Step2得到的X变成了如下内容：

>>> X
array([['France', 44.0, 72000.0],
       ['Spain', 27.0, 48000.0],
       ['Germany', 30.0, 54000.0],
       ['Spain', 38.0, 61000.0],
       ['Germany', 40.0, 63777.77777777778],
       ['France', 35.0, 58000.0],
       ['Spain', 38.77777777777778, 52000.0],
       ['France', 48.0, 79000.0],
       ['Germany', 50.0, 83000.0],
       ['France', 37.0, 67000.0]], dtype=object)

Step 4: 编码分类数据

分类数据（Categorical Data）指的是非数字类型的变量，通常以标签值的形式出现，例如本例中的‘Yes’和‘No’，对于模型的数学计算，需要把它们编码成数字。这里用到的是sklearn.preprocessing库中的LabelEncoder类。

from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_X = LabelEncoder()
X[ : , 0] = labelencoder_X.fit_transform(X[ : , 0])

##Creating a dummy variable
onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()
labelencoder_Y = LabelEncoder()
Y =  labelencoder_Y.fit_transform(Y)

经过转化，X和Y的变化如下：

>>> X
array([[0L, 44.0, 72000.0],
       [2L, 27.0, 48000.0],
       [1L, 30.0, 54000.0],
       [2L, 38.0, 61000.0],
       [1L, 40.0, 63777.77777777778],
       [0L, 35.0, 58000.0],
       [2L, 38.77777777777778, 52000.0],
       [0L, 48.0, 79000.0],
       [1L, 50.0, 83000.0],
       [0L, 37.0, 67000.0]], dtype=object)

>>> X
array([[1.00000000e+00, 0.00000000e+00, 0.00000000e+00, 4.40000000e+01, 7.20000000e+04],
       [0.00000000e+00, 0.00000000e+00, 1.00000000e+00, 2.70000000e+01, 4.80000000e+04],
       [0.00000000e+00, 1.00000000e+00, 0.00000000e+00, 3.00000000e+01, 5.40000000e+04],
       [0.00000000e+00, 0.00000000e+00, 1.00000000e+00, 3.80000000e+01, 6.10000000e+04],
       [0.00000000e+00, 1.00000000e+00, 0.00000000e+00, 4.00000000e+01, 6.37777778e+04],
       [1.00000000e+00, 0.00000000e+00, 0.00000000e+00, 3.50000000e+01, 5.80000000e+04],
       [0.00000000e+00, 0.00000000e+00, 1.00000000e+00, 3.87777778e+01, 5.20000000e+04],
       [1.00000000e+00, 0.00000000e+00, 0.00000000e+00, 4.80000000e+01, 7.90000000e+04],
       [0.00000000e+00, 1.00000000e+00, 0.00000000e+00, 5.00000000e+01, 8.30000000e+04],
       [1.00000000e+00, 0.00000000e+00, 0.00000000e+00, 3.70000000e+01, 6.70000000e+04]])

>>> Y
array([0, 1, 0, 0, 1, 1, 0, 1, 0, 1], dtype=int64)

Step 5: 将数据集分为测试集和训练集

我们通常把数据集按照“二八原则”分为训练集（training set）和测试集（test set），前者用于训练模型，占80%；后者用于测试验证模型，占20%。这里用sklearn.crossvalidation库中的train_test_split()方法。

from sklearn.cross_validation import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split( X , Y , test_size = 0.2, random_state = 0)

Step 6: 特征缩放

大部分模型算法计算两个数据点的欧式距离，导致的问题就是幅度变化不好控制，高幅度的特征比低幅度的特征权重更大。解决这个问题的方法是特征标准化或Z值归一化。这里用sklearn.preprocessing库的StandardScalar类。

from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.fit_transform(X_test)

总结

To Be Honest， 第一天主要就是个入门和环境搭建的上手，用Python作为工具，简述了进行机器学习的前6个步骤，并用相应的库简单轻松的完成了操作，不要觉得无聊，继续下去，会有新收获！

    原文作者：JustMe23
    原文地址: https://www.jianshu.com/p/f1b3c6076deb
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞