利用Python实现kNN算法的代码


Posted in Python onAugust 16, 2019

邻近算法(k-NearestNeighbor) 是机器学习中的一种分类(classification)算法,也是机器学习中最简单的算法之一了。虽然很简单,但在解决特定问题时却能发挥很好的效果。因此,学习kNN算法是机器学习入门的一个很好的途径。

kNN算法的思想非常的朴素,它选取k个离测试点最近的样本点,输出在这k个样本点中数量最多的标签(label)。我们假设每一个样本有m个特征值(property),则一个样本的可以用一个m维向量表示: X =( x1,x2,... , xm ),  同样地,测试点的特征值也可表示成:Y =( y1,y2,... , ym )。那我们怎么定义这两者之间的“距离”呢?

在二维空间中,有:d2 = ( x1 - y1 )2 + ( x2 - y2 )2 ,  在三维空间中,两点的距离被定义为:d2 = ( x1 - y1 )2 + ( x2 - y2 )2  + ( x3 - y3 )2 。我们可以据此推广到m维空间中,定义m维空间的距离:d2 = ( x1 - y1 )2 + ( x2 - y2 )2  + ...... + ( xm - ym )2 。要实现kNN算法,我们只需要计算出每一个样本点与测试点的距离,选取距离最近的k个样本,获取他们的标签(label) ,然后找出k个样本中数量最多的标签,返回该标签。

在开始实现算法之前,我们要考虑一个问题,不同特征的特征值范围可能有很大的差别,例如,我们要分辨一个人的性别,一个女生的身高是1.70m,体重是60kg,一个男生的身高是1.80m,体重是70kg,而一个未知性别的人的身高是1.81m, 体重是64kg,这个人与女生数据点的“距离”的平方 d2 = ( 1.70 - 1.81 )2 + ( 60 - 64 )2 = 0.0121 + 16.0 = 16.0121,而与男生数据点的“距离”的平方d2 = ( 1.80 - 1.81 )2 + ( 70 - 64 )2 = 0.0001 + 36.0 = 36.0001 。可见,在这种情况下,身高差的平方相对于体重差的平方基本可以忽略不计,但是身高对于辨别性别来说是十分重要的。为了解决这个问题,就需要将数据标准化(normalize),把每一个特征值除以该特征的范围,保证标准化后每一个特征值都在0~1之间。我们写一个normData函数来执行标准化数据集的工作:

def normData(dataSet):
  maxVals = dataSet.max(axis=0)
  minVals = dataSet.min(axis=0)
  ranges = maxVals - minVals
  retData = (dataSet - minVals) / ranges
  return retData, ranges, minVals

 然后开始实现kNN算法:

def kNN(dataSet, labels, testData, k):
  distSquareMat = (dataSet - testData) ** 2 # 计算差值的平方
  distSquareSums = distSquareMat.sum(axis=1) # 求每一行的差值平方和
  distances = distSquareSums ** 0.5 # 开根号,得出每个样本到测试点的距离
  sortedIndices = distances.argsort() # 排序,得到排序后的下标
  indices = sortedIndices[:k] # 取最小的k个
  labelCount = {} # 存储每个label的出现次数
  for i in indices:
    label = labels[i]
    labelCount[label] = labelCount.get(label, 0) + 1 # 次数加一
  sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True) 
  # 对label出现的次数从大到小进行排序
  return sortedCount[0][0] # 返回出现次数最大的label

注意,在testData作为参数传入kNN函数之前,需要经过标准化。

我们用几个小数据验证一下kNN函数是否能正常工作:

if __name__ == "__main__":
  dataSet = np.array([[2, 3], [6, 8]])
  normDataSet, ranges, minVals = normData(dataSet)
  labels = ['a', 'b']
  testData = np.array([3.9, 5.5])
  normTestData = (testData - minVals) / ranges
  result = kNN(normDataSet, labels, normTestData, 1)
  print(result)

结果输出 a ,与预期结果一致。

完整代码:

import numpy as np
from math import sqrt
import operator as opt

def normData(dataSet):
  maxVals = dataSet.max(axis=0)
  minVals = dataSet.min(axis=0)
  ranges = maxVals - minVals
  retData = (dataSet - minVals) / ranges
  return retData, ranges, minVals


def kNN(dataSet, labels, testData, k):
  distSquareMat = (dataSet - testData) ** 2 # 计算差值的平方
  distSquareSums = distSquareMat.sum(axis=1) # 求每一行的差值平方和
  distances = distSquareSums ** 0.5 # 开根号,得出每个样本到测试点的距离
  sortedIndices = distances.argsort() # 排序,得到排序后的下标
  indices = sortedIndices[:k] # 取最小的k个
  labelCount = {} # 存储每个label的出现次数
  for i in indices:
    label = labels[i]
    labelCount[label] = labelCount.get(label, 0) + 1 # 次数加一
  sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True) # 对label出现的次数从大到小进行排序
  return sortedCount[0][0] # 返回出现次数最大的label



if __name__ == "__main__":
  dataSet = np.array([[2, 3], [6, 8]])
  normDataSet, ranges, minVals = normData(dataSet)
  labels = ['a', 'b']
  testData = np.array([3.9, 5.5])
  normTestData = (testData - minVals) / ranges
  result = kNN(normDataSet, labels, normTestData, 1)
  print(result)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python正则分析nginx的访问日志
Jan 17 Python
Python 文件处理注意事项总结
Apr 10 Python
Python Socket实现简单TCP Server/client功能示例
Aug 05 Python
Python视频爬虫实现下载头条视频功能示例
May 07 Python
mac安装scrapy并创建项目的实例讲解
Jun 13 Python
Django实现学生管理系统
Feb 26 Python
OpenCV搞定腾讯滑块验证码的实现代码
May 18 Python
python numpy存取文件的方式
Apr 01 Python
Pytorch mask_select 函数的用法详解
Feb 18 Python
详解Python3中的 input() 函数
Mar 18 Python
如何在Python项目中引入日志
May 31 Python
python中pd.cut()与pd.qcut()的对比及示例
Jun 16 Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
Python PO设计模式的具体使用
Aug 16 #Python
python使用sessions模拟登录淘宝的方式
Aug 16 #Python
Django错误:TypeError at / 'bool' object is not callable解决
Aug 16 #Python
Python facenet进行人脸识别测试过程解析
Aug 16 #Python
Python Web框架之Django框架Model基础详解
Aug 16 #Python
You might like
PHP 文件系统详解
2012/09/13 PHP
Apache服务器下防止图片盗链的办法
2015/07/06 PHP
深入理解PHP中的count函数
2016/05/31 PHP
Yii2框架制作RESTful风格的API快速入门教程
2016/11/08 PHP
Laravel框架实现超简单的分页效果示例
2019/02/08 PHP
PHP设计模式之抽象工厂模式实例分析
2019/03/25 PHP
js利用与或运算符优先级实现if else条件判断表达式
2010/04/15 Javascript
javascript数组去掉重复
2011/05/12 Javascript
JS获得URL超链接的参数值实例代码
2013/06/21 Javascript
Javascript判断图片尺寸大小实例分析
2014/06/16 Javascript
Javascript数组与字典用法分析
2014/12/13 Javascript
jQuery中offsetParent()方法用法实例
2015/01/19 Javascript
基于JQuery实现图片轮播效果(焦点图)
2016/02/02 Javascript
artDialog+plupload实现多文件上传
2016/07/19 Javascript
简单谈谈ES6的六个小特性
2016/11/18 Javascript
Vue.js结合bootstrap实现分页控件
2017/03/10 Javascript
详解Vue路由开启keep-alive时的注意点
2017/06/20 Javascript
vue 请求后台数据的实例代码
2017/06/22 Javascript
Vue中的循环及修改差值表达式的方法
2019/08/29 Javascript
vue用elementui写form表单时,在label里添加空格操作
2020/08/13 Javascript
[00:15]TI9地铁玩家打卡
2019/08/11 DOTA
Python自动化运维和部署项目工具Fabric使用实例
2016/09/18 Python
Python中 Lambda表达式全面解析
2016/11/28 Python
Python排序搜索基本算法之选择排序实例分析
2017/12/09 Python
对python 多线程中的守护线程与join的用法详解
2019/02/18 Python
Python for循环与range函数的使用详解
2019/03/23 Python
CSS3实现苹果手机解锁的字体闪亮效果示例
2021/01/05 HTML / CSS
html5的canvas实现3d雪花飘舞效果
2013/12/27 HTML / CSS
div或img图片高度随宽度自适应的方法
2020/02/06 HTML / CSS
出口公司经理求职简历中的自我评价
2013/10/13 职场文书
高级人员简历的自我评价分享
2013/11/03 职场文书
保洁主管岗位职责
2013/11/20 职场文书
小学优秀辅导员事迹材料
2014/05/11 职场文书
学校食堂食品安全承诺书
2015/04/29 职场文书
js面向对象编程OOP及函数式编程FP区别
2022/07/07 Javascript
关于MySQL中explain工具的使用
2023/05/08 MySQL