K-近邻算法的python实现代码分享


Posted in Python onDecember 09, 2017

k-近邻算法概述:

所谓k-近邻算法KNN就是K-Nearest neighbors Algorithms的简称,它采用测量不同特征值之间的距离方法进行分类

用官方的话来说,所谓K近邻算法,即是给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例(也就是上面所说的K个邻居), 这K个实例的多数属于某个类,就把该输入实例分类到这个类中。

k-近邻算法分析

优点:精度高、对异常值不敏感、无数据输入假定。

缺点:计算复杂度高、空间复杂度高。

适用数据范围:数值型和标称型

k-近邻算法工作原理:

它的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的的分类,作为新数据的分类。

​k-近邻算法实现过程:

对未知类别​属性的数据集中的每个点依次执行以下操作:

​(1)计算已知类别数据集中的点与当前点之间的距离;

(2)按照距离递增次序排序;

(3)选取与当前点距离最小的k个点;

(4)确定前k个点所在类别的出现频率;

(5)返回前k个点出现频率最高的类别作为当前点的预测分类。

​k-近邻算法python代码实现:

编辑kNN.py文件代码如下:

K-近邻算法的python实现代码分享

编辑完成后保存,linux下确保当前路径为存储kNN.py文件的位置,进入python开发环境开始测试:

K-近邻算法的python实现代码分享

上图给出了点[0,0]、[1,0.9]的测试输出分类结果分别为B、A。至此,我们已经构造完成了一个分类器,使用这个分类器可以完成很多分类任务。从这个实例出发,构造使用分类算法将会更加容易。

分类器测试评估:

为了测试分类器的效果,需要对分类器做出评估,我们可以通过大量的测试数据得到分类器的错误率——分类器给出错误结果的次数除以测试执行的总数。错误率是常用的评估方法,主要用于评估分类器在某个数据集上的执行效果。完美分类器的错误率为0,最差分类器的错误率是1.0,在这种情况下,分类器根本就无法找到一个正确答案。

结束语:

本文首先对kNN做了简单介绍,通过了解其工作原理和实现流程,并使用k-近邻算法构造了分类器。我们也可以检验分类器给出的答案是否符合我们的预期。此外,还可以对分类器做大量的测试,并以错误率来评估该分类器的分类效果。

以上就是本文关于K-近邻算法的python实现代码分享的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题。如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
跟老齐学Python之集合(set)
Sep 24 Python
Python的面向对象思想分析
Jan 14 Python
Python 字符串转换为整形和浮点类型的方法
Jul 17 Python
python读取图片并修改格式与大小的方法
Jul 24 Python
解决Python中list里的中文输出到html模板里的问题
Dec 17 Python
python用for循环求和的方法总结
Jul 08 Python
Python 硬币兑换问题
Jul 29 Python
python内置模块collections知识点总结
Dec 19 Python
python实现Pyecharts实现动态地图(Map、Geo)
Mar 25 Python
Django ORM实现按天获取数据去重求和例子
May 18 Python
Pycharm在指定目录下生成文件和删除文件的实现
Dec 28 Python
详解修改Anaconda中的Jupyter Notebook默认工作路径的三种方式
Jan 24 Python
Python数据可视化编程通过Matplotlib创建散点图代码示例
Dec 09 #Python
python学习之matplotlib绘制散点图实例
Dec 09 #Python
Python学习pygal绘制线图代码分享
Dec 09 #Python
Python编程pygal绘图实例之XY线
Dec 09 #Python
同时安装Python2 & Python3 cmd下版本自由选择的方法
Dec 09 #Python
基于Python中capitalize()与title()的区别详解
Dec 09 #Python
Python IDLE入门简介
Dec 08 #Python
You might like
PHP中的命名空间详细介绍
2015/07/02 PHP
php自定义函数转换html标签示例
2016/09/29 PHP
PHP简单实现合并2个数字键数组值的方法
2017/05/30 PHP
PHP实现重载的常用方法实例详解
2017/10/18 PHP
PHP的微信支付接口使用方法讲解
2019/03/08 PHP
PHP基于array_unique实现二维数组去重
2020/07/14 PHP
js判断生效时间不得大于失效时间的思路及代码
2013/04/23 Javascript
JS实现图片产生波纹一样flash效果的方法
2015/02/27 Javascript
js给table赋值的实例代码
2016/10/13 Javascript
详解Vue爬坑之vuex初识
2017/06/14 Javascript
Angular.js自动化测试之protractor详解
2017/07/07 Javascript
浅谈Vue初学之props的驼峰命名
2018/07/19 Javascript
详解angular分页插件tm.pagination二次触发问题解决方案
2018/07/20 Javascript
基于node简单实现RSA加解密的方法步骤
2019/03/21 Javascript
微信小程序后端实现授权登录
2020/02/24 Javascript
[04:50]DOTA2亚洲邀请赛小组赛第四日 TOP10精彩集锦
2015/02/02 DOTA
python局域网ip扫描示例分享
2014/04/03 Python
使用python将请求的requests headers参数格式化方法
2019/01/02 Python
python使用pymongo操作mongo的完整步骤
2019/04/13 Python
基于python-pptx库中文文档及使用详解
2020/02/14 Python
parser.add_argument中的action使用
2020/04/20 Python
HTML5离线缓存Manifest是什么
2016/03/09 HTML / CSS
俄罗斯和世界各地的酒店预订:Hotels.com俄罗斯
2016/08/19 全球购物
澳大利亚在线百货商店:Real Smart
2017/08/13 全球购物
加拿大著名的奢侈品购物网站:SSENSE(支持中文)
2020/06/25 全球购物
Can a struct inherit from another class? (结构体能继承类吗)
2014/07/22 面试题
工艺工程师工作职责
2013/11/23 职场文书
行政总监岗位职责
2013/12/05 职场文书
小学防溺水制度
2014/01/29 职场文书
人事专员岗位职责范本
2014/03/04 职场文书
租赁意向书范本
2014/04/01 职场文书
小学教师年度个人总结
2015/02/05 职场文书
社区环境卫生倡议书
2015/04/29 职场文书
高中班主任培训心得体会
2016/01/07 职场文书
2019班干部竞选演讲稿范本!
2019/07/08 职场文书
php字符串倒叙
2021/04/01 PHP