K-近邻算法的python实现代码分享


Posted in Python onDecember 09, 2017

k-近邻算法概述:

所谓k-近邻算法KNN就是K-Nearest neighbors Algorithms的简称,它采用测量不同特征值之间的距离方法进行分类

用官方的话来说,所谓K近邻算法,即是给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例(也就是上面所说的K个邻居), 这K个实例的多数属于某个类,就把该输入实例分类到这个类中。

k-近邻算法分析

优点:精度高、对异常值不敏感、无数据输入假定。

缺点:计算复杂度高、空间复杂度高。

适用数据范围:数值型和标称型

k-近邻算法工作原理:

它的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的的分类,作为新数据的分类。

​k-近邻算法实现过程:

对未知类别​属性的数据集中的每个点依次执行以下操作:

​(1)计算已知类别数据集中的点与当前点之间的距离;

(2)按照距离递增次序排序;

(3)选取与当前点距离最小的k个点;

(4)确定前k个点所在类别的出现频率;

(5)返回前k个点出现频率最高的类别作为当前点的预测分类。

​k-近邻算法python代码实现:

编辑kNN.py文件代码如下:

K-近邻算法的python实现代码分享

编辑完成后保存,linux下确保当前路径为存储kNN.py文件的位置,进入python开发环境开始测试:

K-近邻算法的python实现代码分享

上图给出了点[0,0]、[1,0.9]的测试输出分类结果分别为B、A。至此,我们已经构造完成了一个分类器,使用这个分类器可以完成很多分类任务。从这个实例出发,构造使用分类算法将会更加容易。

分类器测试评估:

为了测试分类器的效果,需要对分类器做出评估,我们可以通过大量的测试数据得到分类器的错误率——分类器给出错误结果的次数除以测试执行的总数。错误率是常用的评估方法,主要用于评估分类器在某个数据集上的执行效果。完美分类器的错误率为0,最差分类器的错误率是1.0,在这种情况下,分类器根本就无法找到一个正确答案。

结束语:

本文首先对kNN做了简单介绍,通过了解其工作原理和实现流程,并使用k-近邻算法构造了分类器。我们也可以检验分类器给出的答案是否符合我们的预期。此外,还可以对分类器做大量的测试,并以错误率来评估该分类器的分类效果。

以上就是本文关于K-近邻算法的python实现代码分享的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题。如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
跟老齐学Python之永远强大的函数
Sep 14 Python
Tensorflow卷积神经网络实例进阶
May 24 Python
详解用python实现基本的学生管理系统(文件存储版)(python3)
Apr 25 Python
python实现在cmd窗口显示彩色文字
Jun 24 Python
详解pandas数据合并与重塑(pd.concat篇)
Jul 09 Python
python输入错误后删除的方法
Oct 12 Python
Django后端发送小程序微信模板消息示例(服务通知)
Dec 17 Python
在Pytorch中计算卷积方法的区别详解(conv2d的区别)
Jan 03 Python
Tensorflow 多线程与多进程数据加载实例
Feb 05 Python
numpy库reshape用法详解
Apr 19 Python
python实现大文本文件分割成多个小文件
Apr 20 Python
Python pandas求方差和标准差的方法实例
Aug 04 Python
Python数据可视化编程通过Matplotlib创建散点图代码示例
Dec 09 #Python
python学习之matplotlib绘制散点图实例
Dec 09 #Python
Python学习pygal绘制线图代码分享
Dec 09 #Python
Python编程pygal绘图实例之XY线
Dec 09 #Python
同时安装Python2 & Python3 cmd下版本自由选择的方法
Dec 09 #Python
基于Python中capitalize()与title()的区别详解
Dec 09 #Python
Python IDLE入门简介
Dec 08 #Python
You might like
造势之举?韩国总统候选人发布《星际争霸》地图
2017/04/22 星际争霸
开发大型PHP项目的方法
2006/10/09 PHP
文章推荐系统(三)
2006/10/09 PHP
frename PHP 灵活文件命名函数 frename
2009/09/09 PHP
判断是否为指定长度内字符串的php函数
2010/02/16 PHP
PHP类的静态(static)方法和静态(static)变量使用介绍
2012/02/19 PHP
PHP生成制作验证码的简单实例
2016/06/12 PHP
浅谈PHP表单提交(POST&GET&URL编/解码)
2017/04/03 PHP
jQuery仿Excel表格编辑功能的实现代码
2013/05/01 Javascript
深入浅析JavaScript的API设计原则
2016/06/14 Javascript
ThinkPHP+jquery实现“加载更多”功能代码
2017/03/11 Javascript
AngularJS获取json数据的方法详解
2017/05/27 Javascript
vue 使用html2canvas将DOM转化为图片的方法
2018/09/11 Javascript
Vue中的v-for指令不起效果的解决方法
2018/09/27 Javascript
详解Vue-cli3.X使用px2rem遇到的问题
2019/08/09 Javascript
在vue-cli 3中给stylus、sass样式传入共享的全局变量
2019/08/12 Javascript
浅谈bootstrap layer.open中end的使用方法
2019/09/12 Javascript
解决vue中的无限循环问题
2020/07/27 Javascript
python 中的divmod数字处理函数浅析
2017/10/17 Python
基于DATAFRAME中元素的读取与修改方法
2018/06/08 Python
Django 内置权限扩展案例详解
2019/03/04 Python
Python2与Python3的区别实例总结
2019/04/17 Python
Python中如何添加自定义模块
2020/06/09 Python
通过实例了解Python异常处理机制底层实现
2020/07/23 Python
Django项目创建及管理实现流程详解
2020/10/13 Python
Python 实现PS滤镜中的径向模糊特效
2020/12/03 Python
美国知名户外用品畅销中心:Sierra Trading Post
2016/07/19 全球购物
香港优质食材和美酒专门店:FoodWise
2017/09/01 全球购物
毕业生自我鉴定
2013/12/04 职场文书
决心书范文
2014/03/11 职场文书
就职演讲稿范文
2014/05/19 职场文书
安全标语大全
2014/06/10 职场文书
学习焦裕禄同志为人民服务思想汇报
2014/09/10 职场文书
歼十出击观后感
2015/06/11 职场文书
Windows Server 2008配置防火墙策略详解
2022/06/28 Servers
Win10开机修复磁盘错误怎么跳过?Win10关闭开机磁盘检查的方法
2022/09/23 数码科技