K-近邻算法的python实现代码分享


Posted in Python onDecember 09, 2017

k-近邻算法概述:

所谓k-近邻算法KNN就是K-Nearest neighbors Algorithms的简称,它采用测量不同特征值之间的距离方法进行分类

用官方的话来说,所谓K近邻算法,即是给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例(也就是上面所说的K个邻居), 这K个实例的多数属于某个类,就把该输入实例分类到这个类中。

k-近邻算法分析

优点:精度高、对异常值不敏感、无数据输入假定。

缺点:计算复杂度高、空间复杂度高。

适用数据范围:数值型和标称型

k-近邻算法工作原理:

它的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的的分类,作为新数据的分类。

​k-近邻算法实现过程:

对未知类别​属性的数据集中的每个点依次执行以下操作:

​(1)计算已知类别数据集中的点与当前点之间的距离;

(2)按照距离递增次序排序;

(3)选取与当前点距离最小的k个点;

(4)确定前k个点所在类别的出现频率;

(5)返回前k个点出现频率最高的类别作为当前点的预测分类。

​k-近邻算法python代码实现:

编辑kNN.py文件代码如下:

K-近邻算法的python实现代码分享

编辑完成后保存,linux下确保当前路径为存储kNN.py文件的位置,进入python开发环境开始测试:

K-近邻算法的python实现代码分享

上图给出了点[0,0]、[1,0.9]的测试输出分类结果分别为B、A。至此,我们已经构造完成了一个分类器,使用这个分类器可以完成很多分类任务。从这个实例出发,构造使用分类算法将会更加容易。

分类器测试评估:

为了测试分类器的效果,需要对分类器做出评估,我们可以通过大量的测试数据得到分类器的错误率——分类器给出错误结果的次数除以测试执行的总数。错误率是常用的评估方法,主要用于评估分类器在某个数据集上的执行效果。完美分类器的错误率为0,最差分类器的错误率是1.0,在这种情况下,分类器根本就无法找到一个正确答案。

结束语:

本文首先对kNN做了简单介绍,通过了解其工作原理和实现流程,并使用k-近邻算法构造了分类器。我们也可以检验分类器给出的答案是否符合我们的预期。此外,还可以对分类器做大量的测试,并以错误率来评估该分类器的分类效果。

以上就是本文关于K-近邻算法的python实现代码分享的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题。如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python函数形参用法实例分析
Aug 04 Python
Linux RedHat下安装Python2.7开发环境
May 20 Python
Python使用filetype精确判断文件类型
Jul 02 Python
python3实现域名查询和whois查询功能
Jun 21 Python
Python关于excel和shp的使用在matplotlib
Jan 03 Python
PyQt 实现使窗口中的元素跟随窗口大小的变化而变化
Jun 18 Python
Python 实例方法、类方法、静态方法的区别与作用
Aug 14 Python
pytorch之inception_v3的实现案例
Jan 06 Python
python 函数中的参数类型
Feb 11 Python
Python新手学习函数默认参数设置
Jun 03 Python
python爬虫请求头的使用
Dec 01 Python
python使用BeautifulSoup 解析HTML
Apr 24 Python
Python数据可视化编程通过Matplotlib创建散点图代码示例
Dec 09 #Python
python学习之matplotlib绘制散点图实例
Dec 09 #Python
Python学习pygal绘制线图代码分享
Dec 09 #Python
Python编程pygal绘图实例之XY线
Dec 09 #Python
同时安装Python2 & Python3 cmd下版本自由选择的方法
Dec 09 #Python
基于Python中capitalize()与title()的区别详解
Dec 09 #Python
Python IDLE入门简介
Dec 08 #Python
You might like
十大催泪虐心动漫电影,有几部你还没看
2020/03/04 日漫
PHP的autoload自动加载机制使用说明
2010/12/28 PHP
THINKPHP内容分页代码分享
2015/01/14 PHP
php发送html格式文本邮件的方法
2015/06/10 PHP
由JavaScript技术实现的web小游戏(不含网游)
2010/06/12 Javascript
myeclipse安装jQuery插件的方法
2011/03/29 Javascript
js创建子窗口并且回传值示例代码
2013/07/02 Javascript
JavaScript页面模板库handlebars的简单用法
2015/03/02 Javascript
12306验证码破解思路分享
2015/03/25 Javascript
javascript常用方法总结
2015/05/14 Javascript
js编写贪吃蛇的小游戏
2020/08/24 Javascript
vue中简单弹框dialog的实现方法
2018/02/26 Javascript
如何让node运行es6模块文件及其原理详解
2018/12/11 Javascript
ES6 Object.assign()的用法及其使用
2020/01/18 Javascript
js实现视图和数据双向绑定的方法分析
2020/02/05 Javascript
使用JavaScript通过前端发送电子邮件
2020/05/22 Javascript
JS 5种遍历对象的方式
2020/06/16 Javascript
使用PYTHON创建XML文档
2012/03/01 Python
python连接mysql调用存储过程示例
2014/03/05 Python
Python中关于Sequence切片的下标问题详解
2017/06/15 Python
PyCharm 创建指定版本的 Django(超详图解教程)
2019/06/18 Python
jupyter notebook插入本地图片的实现
2020/04/13 Python
python中upper是做什么用的
2020/07/20 Python
Python进行统计建模
2020/08/10 Python
Python 通过爬虫实现GitHub网页的模拟登录的示例代码
2020/08/17 Python
Python:__eq__和__str__函数的使用示例
2020/09/26 Python
关于HTML5语义标签的实践(blog页面)
2016/07/12 HTML / CSS
暇步士官网:Hush Puppies
2016/09/22 全球购物
Jeep牧马人、切诺基和自由人零配件:4 Wheel Drive Hardware
2017/07/02 全球购物
如何用Python输出一个Fibonacci数列
2016/08/28 面试题
行政助理岗位职责
2013/11/10 职场文书
关于运动会广播稿50字
2014/10/18 职场文书
终止劳动合同证明书样本
2014/11/19 职场文书
出租车拒载检讨书
2015/01/28 职场文书
综合素质评价个性与发展自我评价
2015/03/06 职场文书
高中升旗仪式主持词
2015/07/03 职场文书