Python语言实现机器学习的K-近邻算法


Posted in Python onJune 11, 2015

写在前面

额、、、最近开始学习机器学习嘛,网上找到一本关于机器学习的书籍,名字叫做《机器学习实战》。很巧的是,这本书里的算法是用Python语言实现的,刚好之前我学过一些Python基础知识,所以这本书对于我来说,无疑是雪中送炭啊。接下来,我还是给大家讲讲实际的东西吧。

什么是K-近邻算法?

简单的说,K-近邻算法就是采用测量不同特征值之间的距离方法来进行分类。它的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系,输入没有标签的新数据之后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取出样本集中特征最相似数据的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是K-近邻算法名称的由来。

提问:亲,你造K-近邻算法是属于监督学习还是无监督学习呢?

使用Python导入数据

从K-近邻算法的工作原理中我们可以看出,要想实施这个算法来进行数据分类,我们手头上得需要样本数据,没有样本数据怎么建立分类函数呢。所以,我们第一步就是导入样本数据集合。

建立名为kNN.py的模块,写入代码:

from numpy import *
 import operator
 
 def createDataSet():
   group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
   labels = ['A','A','B','B']
   return group, labels

代码中,我们需要导入Python的两个模块:科学计算包NumPy和运算符模块。NumPy函数库是Python开发环境的一个独立模块,大多数Python版本里没有默认安装NumPy函数库,因此这里我们需要单独安装这个模块。

下载地址:http://sourceforge.net/projects/numpy/files/

Python语言实现机器学习的K-近邻算法

有很多的版本,这里我选择的是numpy-1.7.0-win32-superpack-python2.7.exe。

实现K-近邻算法

K-近邻算法的具体思想如下:

(1)计算已知类别数据集中的点与当前点之间的距离

(2)按照距离递增次序排序

(3)选取与当前点距离最小的k个点

(4)确定前k个点所在类别的出现频率

(5)返回前k个点中出现频率最高的类别作为当前点的预测分类

Python语言实现K-近邻算法的代码如下:

# coding : utf-8
 from numpy import *
 import operator 
 import kNN
 group, labels = kNN.createDataSet()
 def classify(inX, dataSet, labels, k):
   dataSetSize = dataSet.shape[0] 
   diffMat = tile(inX, (dataSetSize,1)) - dataSet
   sqDiffMat = diffMat**2
   sqDistances = sqDiffMat.sum(axis=1)
   distances = sqDistances**0.5
   sortedDistances = distances.argsort()
   classCount = {}
   for i in range(k):
     numOflabel = labels[sortedDistances[i]]
     classCount[numOflabel] = classCount.get(numOflabel,0) + 1
   sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1),reverse=True)
   return sortedClassCount[0][0]
 my = classify([0,0], group, labels, 3)
 print my

运算结果如下:

Python语言实现机器学习的K-近邻算法

 输出结果是B:说明我们新的数据([0,0])是属于B类。

代码详解

相信有很多朋友们对上面这个代码有很多不理解的地方,接下来,我重点讲解几个此函数的关键点,以方便读者们和我自己回顾一下这个算法代码。

classify函数的参数:

inX:用于分类的输入向量
dataSet:训练样本集合
labels:标签向量
k:K-近邻算法中的k
shape:是array的属性,描述一个多维数组的维度

tile(inX, (dataSetSize,1)):把inX二维数组化,dataSetSize表示生成数组后的行数,1表示列的倍数。整个这一行代码表示前一个二维数组矩阵的每一个元素减去后一个数组对应的元素值,这样就实现了矩阵之间的减法,简单方便得不让你佩服不行!

axis=1:参数等于1的时候,表示矩阵中行之间的数的求和,等于0的时候表示列之间数的求和。

argsort():对一个数组进行非降序排序

classCount.get(numOflabel,0) + 1:这一行代码不得不说的确很精美啊。get():该方法是访问字典项的方法,即访问下标键为numOflabel的项,如果没有这一项,那么初始值为0。然后把这一项的值加1。所以Python中实现这样的操作就只需要一行代码,实在是很简洁高效。

后话

K-近邻算法(KNN)原理以及代码实现差不多就这样了,接下来的任务就是更加熟悉它,争取达到裸敲的地步。

以上所述上就是本文的全部内容了,希望大家能够喜欢。

Python 相关文章推荐
巧用Python装饰器 免去调用父类构造函数的麻烦
May 18 Python
用python实现批量重命名文件的代码
May 25 Python
使用python BeautifulSoup库抓取58手机维修信息
Nov 21 Python
python脚本实现统计日志文件中的ip访问次数代码分享
Aug 06 Python
python 获取当天每个准点时间戳的实例
May 22 Python
详解配置Django的Celery异步之路踩坑
Nov 25 Python
使用PyQt4 设置TextEdit背景的方法
Jun 14 Python
Python中栈、队列与优先级队列的实现方法
Jun 30 Python
阿里云ECS服务器部署django的方法
Aug 29 Python
Python通过kerberos安全认证操作kafka方式
Jun 06 Python
python连接mongodb数据库操作数据示例
Nov 30 Python
python代码实现备忘录案例讲解
Jul 26 Python
在Linux下使用Python的matplotlib绘制数据图的教程
Jun 11 #Python
python中的代码编码格式转换问题
Jun 10 #Python
python实现数独算法实例
Jun 09 #Python
python中的全局变量用法分析
Jun 09 #Python
python简单实现计算过期时间的方法
Jun 09 #Python
Python扫描IP段查看指定端口是否开放的方法
Jun 09 #Python
Python实现数据库编程方法详解
Jun 09 #Python
You might like
第四章 php数学运算
2011/12/30 PHP
浅谈php安全性需要注意的几点事项
2014/07/17 PHP
php连接oracle数据库的核心步骤
2016/05/26 PHP
PHP date_default_timezone_set()设置时区操作实例分析
2020/05/16 PHP
HTTP头隐藏PHP版本号实现过程解析
2020/12/09 PHP
解决 FireFox 下[使用event很麻烦] 的问题.
2006/08/22 Javascript
无闪烁更新网页内容JS实现
2013/12/19 Javascript
JQuery插件fancybox无法在弹出层使用左右键的解决办法
2013/12/25 Javascript
JavaScript通过元素的ID和name设置样式
2014/07/08 Javascript
轻松创建nodejs服务器(7):阻塞操作的实现
2014/12/18 NodeJs
分享javascript计算时间差的示例代码
2020/03/19 Javascript
AngularJS入门教程之Scope(作用域)
2016/07/27 Javascript
AngularJS入门教程之过滤器详解
2016/08/19 Javascript
Node.js Sequelize如何实现数据库的读写分离
2016/10/23 Javascript
详解nodejs express下使用redis管理session
2017/04/24 NodeJs
jQuery获取复选框选中的当前行的某个字段的值
2017/09/15 jQuery
node.js +mongdb实现登录功能
2020/06/18 Javascript
vue-drawer-layout实现手势滑出菜单栏
2020/11/19 Vue.js
Python实现连接postgresql数据库的方法分析
2017/12/27 Python
selenium+python自动化测试之多窗口切换
2019/01/23 Python
python DataFrame 取差集实例
2019/01/30 Python
django框架实现一次性上传多个文件功能示例【批量上传】
2019/06/19 Python
python安装本地whl的实例步骤
2019/10/12 Python
Python字典取键、值对的方法步骤
2020/09/30 Python
PyQt5通过信号实现MVC的示例
2021/02/06 Python
现代生活方式的家具和装饰:Dot & Bo
2018/12/26 全球购物
美国购买隐形眼镜网站:Lenses For Less
2020/07/05 全球购物
物业管理个人自我评价
2013/11/08 职场文书
优秀大学生的自我评价
2014/01/16 职场文书
亮化工程实施方案
2014/03/17 职场文书
大学新学期计划书
2014/04/28 职场文书
建设单位项目负责人任命书
2014/06/06 职场文书
2014年高中班主任工作总结
2014/11/08 职场文书
晚会主持人开场白台词
2015/05/28 职场文书
钢琴师观后感
2015/06/12 职场文书
2016年寒假社会实践活动总结
2015/10/10 职场文书