KNN算法及python实现

KNN算法又称最邻近规则分类((K-Nearest Neighbor)

由Cover和Hart在1968年提出了邻近算法。是机器学习中的一种分类算法。是一种实例学习(instance-based learning)和懒惰学习(lazy learning)的算法,因为每一次学习是根据实例而来。懒惰学习,因为在处理训练集时未建立任何的模型,而是在开始归类时进行和已知类型的比较进行分类。下面我们看一个常见的KNN分类问题,也就是电影类型的划分如下
《KNN算法及python实现》 pic1

我们把以上表格中的数据转换成坐标形式如下
《KNN算法及python实现》 pic2 通过上面的转换,也就是把问题变成了对未知点类型的判定了(Romance类型或Action类型)

算法详述

通过上面点的转化后,我们根据KNN算法判定它的具体类型。KNN算法判定步骤如下:
a.选择参数的范围,即参数的个数我们计为k
b.计算未知实例与我们选取范围内的实例距离
c.根据少数服从多刷的投票法则(majority-voting),让未知实例归类为K个最邻近样本中最多数的类别
注意点: 因为最终用到少数服从多数的原则,所以选取k的时候我们务必选取奇数。

我们知道平面中两个点的距离计算公式为:
《KNN算法及python实现》 pic3 在上面的例子中,得出A-F点距离G点的距离分别为:

d_ag 20.518284528683193

d_bg 18.867962264113206

d_cg 19.235384061671343

d_dg 115.27792503337315

d_eg 117.41379816699569
d_fg 118.92854997854805
选择K等于3,则发现前3个距离最近,所以G点归为Romance类型电影,如果K=3中有一部Action类型,本着少数服从多数,仍然归纳为Romance类型电影。

当多维实例计算时,公式如下:
《KNN算法及python实现》 pic4 注意点:为了考虑分类算法的健壮性,一般我们还会加上权重判断,例如权重为1/d。具体看下图的例子,如果我们不考虑权重,当我们取k=13时候,发现蓝色的点更多归类为蓝色类,但从下面的图应该归类为红色。
《KNN算法及python实现》 pic5

python代码实现

python里面已经内置了鸢尾花分类实例,下面以鸢尾花为例子进行KNN分类预测

from sklearn import neighbors
from sklearn import datasets

# 创建KNN分类器
knn = neighbors.KNeighborsClassifier()

#加载python中默认的鸢尾花分类数据
iris = datasets.load_iris()

#输出数据 包括特征值和target部分
print(iris)

#根据已经有的数据进行训练
knn.fit(iris.data, iris.target)

#作出预测, 花瓣的值
predicatedLabel = knn.predict([[0.1, 0.2, 0.3, 0.4]])

#输出预测标记
print(predicatedLabel)
    原文作者:maxZhang
    原文地址: https://www.jianshu.com/p/950619ad9c08
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞