K近邻算法学习总结

2019年11月6日 222次阅读

K近邻算法学习总结

本篇文章主要描述了K近邻算法的基本思路，实现原理，算法特征以及适用范围和可优化点，文章为本人学习后的感悟，仅供参考。

  • 基本思路
  • 实现原理
  • 欧式距离
  • 算法特征
  • 适用范围
  • 算法优化
  • 算法案例

百度百科

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。——百度百科

算法简介

K近邻算法主要解决分类问题，其基本实现思路是当确定部分数据的分类，引入一条未分类数据时，根据这条数据与已分类数据的相似度的大小数量关系来确定这条数据的最终分类。
1）将待分类的某条数据与已分类数据逐条进行比较计算，得到与每条已分类数据的相似度值。
2）已知经过一轮运算后这条待分类数据与每条已分类数据产生了对应的相似度值，对这些值进行从大到小排列，同时已分类数据与所属值一一对应排列。
3）选出前K条已分类数据，（已经排序过的数据，此时的每条数据与待分类数据的相似度值呈递减关系），对已选中的每条数据的分类进行计数，找到数量最多的那一类。即为待分类数据的最终分类。

举个简单的栗子：一个小岛居住着5个种族的居民，并且每个种族的居民数量相近，这时候小岛来了一位外来者，需要将这位外来者确定所属种族。经过观察发现，每个种族中都有人与这位外来者有相似之处，其中与这位外来者最相似的人在种族A，但是在与这位外来者相似的居民中，种族B的人占最多数。所以确定外来者为种族B。这个问题中是否相似的判断即为K的取值。

关于K值问题思索

很多人看到这里也许有疑惑，为什么不确定外来者为A种族的人呢？为什么要设计K呢？K值为1是不是算法成功率最高呢？
用官方的语言说，是为了防止产生过度拟合问题。那什么是过度拟合呢？我们都知道，机器学习算法分类问题的数据源一般都有训练集，训练集影响着未训练的数据的分类。过度拟合是指分类结果过分依赖训练集中的数据，产生了具有带训练集数据的分类效果，对训练集外的数据的分类差的一种结果。我们都知道，我们很难保证训练集的一般性，其中的数据必然带有个性色彩，具有个性色彩的数据往往会使数据的分类结果失误。
举个简单的栗子，一个人买彩票中奖了，能否得出买彩票中奖是件很容易的事呢。当选取范围为这一个人时，岂不是买彩票中奖率为百分之百。很显然这是不可能的。

相似度计算与欧氏距离

上面提到计算相似度，那么如何计算相似度，K近邻算法大多使用欧氏距离公式进行相似度的计算。欧式距离指的是n维空间中两点的真实距离（两条n维向量之间的距离）。欧式距离:

ρ(A，B)=∑(a[i]−b[i])2−−−−−−−−−−−√(i=1，2，…，n)

其中ρ(A，B) 即为A,B两点之间的距离。在进行计算之前，需要将数据进行数值化处理和归一化处理，抽取数据的特征值进行运算。

具体案例

关于K近邻算法实现的案例，整理起来比较麻烦，还有问题的引入和分析，比较耗时间，这里我就引用下别人整理好的案例，网上有两个最为典型的案例，一个是约会问题，一个是手写数字识别，都来自《机器学习实战》这本书，这里我介绍下前一个。
声明：引自https://www.cnblogs.com/ybjourney/p/4702562.html 博主：oYabea

在这里根据一个人收集的约会数据，根据主要的样本特征以及得到的分类，对一些未知类别的数据进行分类，大致就是这样。
《K近邻算法学习总结》

程序

python3代码：

#coding:utf-8

from numpy import *
import operator
from collections import Counter
import matplotlib
import matplotlib.pyplot as plt


###导入特征数据
def file2matrix(filename):
    fr = open(filename)
    contain = fr.readlines()###读取文件的所有内容
    count = len(contain)
    returnMat = zeros((count,3))
    classLabelVector = []
    index = 0
    for line in contain:
        line = line.strip() ###截取所有的回车字符
        listFromLine = line.split('\t')
        returnMat[index,:] = listFromLine[0:3]###选取前三个元素，存储在特征矩阵中
        classLabelVector.append(listFromLine[-1])###将列表的最后一列存储到向量classLabelVector中
        index += 1

    ##将列表的最后一列由字符串转化为数字，便于以后的计算
    dictClassLabel = Counter(classLabelVector)
    classLabel = []
    kind = list(dictClassLabel)
    for item in classLabelVector:
        if item == kind[0]:
            item = 1
        elif item == kind[1]:
            item = 2
        else:
            item = 3
        classLabel.append(item)
    return returnMat,classLabel#####将文本中的数据导入到列表

##绘图（可以直观的表示出各特征对分类结果的影响程度）
datingDataMat,datingLabels = file2matrix('D:\python\Mechine learing in Action\KNN\datingTestSet.txt')
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,0],datingDataMat[:,1],15.0*array(datingLabels),15.0*array(datingLabels))
plt.show()

## 归一化数据,保证特征等权重
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))##建立与dataSet结构一样的矩阵
    m = dataSet.shape[0]
    for i in range(1,m):
        normDataSet[i,:] = (dataSet[i,:] - minVals) / ranges
    return normDataSet,ranges,minVals

##KNN算法
def classify(input,dataSet,label,k):
    dataSize = dataSet.shape[0]
    ####计算欧式距离
    diff = tile(input,(dataSize,1)) - dataSet
    sqdiff = diff ** 2
    squareDist = sum(sqdiff,axis = 1)###行向量分别相加，从而得到新的一个行向量
    dist = squareDist ** 0.5

    ##对距离进行排序
    sortedDistIndex = argsort(dist)##argsort()根据元素的值从大到小对元素进行排序，返回下标

    classCount={}
    for i in range(k):
        voteLabel = label[sortedDistIndex[i]]
        ###对选取的K个样本所属的类别个数进行统计
        classCount[voteLabel] = classCount.get(voteLabel,0) + 1
    ###选取出现的类别次数最多的类别
    maxCount = 0
    for key,value in classCount.items():
        if value > maxCount:
            maxCount = value
            classes = key
    return classes

##测试(选取10%测试）
def datingTest():
    rate = 0.10
    datingDataMat,datingLabels = file2matrix('D:\python\Mechine learing in Action\KNN\datingTestSet.txt')
    normMat,ranges,minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    testNum = int(m * rate)
    errorCount = 0.0
    for i in range(1,testNum):
        classifyResult = classify(normMat[i,:],normMat[testNum:m,:],datingLabels[testNum:m],3)
        print("分类后的结果为:,", classifyResult)
        print("原结果为：",datingLabels[i])
        if(classifyResult != datingLabels[i]):
                                  errorCount += 1.0
    print("误分率为:",(errorCount/float(testNum)))

###预测函数
def classifyPerson():
    resultList = ['一点也不喜欢','有一丢丢喜欢','灰常喜欢']
    percentTats = float(input("玩视频所占的时间比?"))
    miles = float(input("每年获得的飞行常客里程数?"))
    iceCream = float(input("每周所消费的冰淇淋公升数?"))
    datingDataMat,datingLabels = file2matrix('D:\python\Mechine learing in Action\KNN\datingTestSet2.txt')
    normMat,ranges,minVals = autoNorm(datingDataMat)
    inArr = array([miles,percentTats,iceCream])
    classifierResult = classify((inArr-minVals)/ranges,normMat,datingLabels,3)
    print("你对这个人的喜欢程度:",resultList[classifierResult - 1])
... prompt'''

《K近邻算法学习总结》

算法特征缺陷及适用性

特征：KNN算法有两处主要的参数影响分类结果，一处是K值的确定，另一种则是训练集的数据选择。其中K值可使用训练算法进行运算选择出最佳的值，而训练数据集则需要尽量满足每个分类的训练样本数量相等。这样训练效果才良好。

算法缺陷：K仅近邻算法运行时，需要将待分类数据与训练集每条数据进行运算，需要耗费大量时间。训练集越庞大，所需时间越长。

适用性：KNN算法要求数据的每个特征对分类结果的影响程度尽量相等。

算法优化

我们知道大多数据的每个特征对分类结果的影响是不尽相同的，甚至有些数据的某些特征对分类结果有决定性的影响，有些特征对分类结果毫无影响。后者的存在往往会使分类效果变差。而KNN算法则忽略了特征对分类结果的影响。为了避免这个缺陷，最直接的想法则是对数据特征进行加权处理，加权的方法有很多。有兴趣的可自行上网查阅。

结语

要期末考试了，匆忙中抽出时间写出这篇文章，如有不到之处请多见谅，贵在进步。后面还是要准备以考试为主。唉。

注： 以上大多为本人自己对算法的理解与感悟，本人算法学习也在初期，以上内容仅供参考，欢迎任何人提出建议和指出问题，本人必当改正。qq：289672494。

点赞