Python语言实现机器学习的K-近邻算法


Posted in Python onJune 11, 2015

写在前面

额、、、最近开始学习机器学习嘛,网上找到一本关于机器学习的书籍,名字叫做《机器学习实战》。很巧的是,这本书里的算法是用Python语言实现的,刚好之前我学过一些Python基础知识,所以这本书对于我来说,无疑是雪中送炭啊。接下来,我还是给大家讲讲实际的东西吧。

什么是K-近邻算法?

简单的说,K-近邻算法就是采用测量不同特征值之间的距离方法来进行分类。它的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系,输入没有标签的新数据之后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取出样本集中特征最相似数据的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是K-近邻算法名称的由来。

提问:亲,你造K-近邻算法是属于监督学习还是无监督学习呢?

使用Python导入数据

从K-近邻算法的工作原理中我们可以看出,要想实施这个算法来进行数据分类,我们手头上得需要样本数据,没有样本数据怎么建立分类函数呢。所以,我们第一步就是导入样本数据集合。

建立名为kNN.py的模块,写入代码:

from numpy import *
 import operator
 
 def createDataSet():
   group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
   labels = ['A','A','B','B']
   return group, labels

代码中,我们需要导入Python的两个模块:科学计算包NumPy和运算符模块。NumPy函数库是Python开发环境的一个独立模块,大多数Python版本里没有默认安装NumPy函数库,因此这里我们需要单独安装这个模块。

下载地址:http://sourceforge.net/projects/numpy/files/

Python语言实现机器学习的K-近邻算法

有很多的版本,这里我选择的是numpy-1.7.0-win32-superpack-python2.7.exe。

实现K-近邻算法

K-近邻算法的具体思想如下:

(1)计算已知类别数据集中的点与当前点之间的距离

(2)按照距离递增次序排序

(3)选取与当前点距离最小的k个点

(4)确定前k个点所在类别的出现频率

(5)返回前k个点中出现频率最高的类别作为当前点的预测分类

Python语言实现K-近邻算法的代码如下:

# coding : utf-8
 from numpy import *
 import operator 
 import kNN
 group, labels = kNN.createDataSet()
 def classify(inX, dataSet, labels, k):
   dataSetSize = dataSet.shape[0] 
   diffMat = tile(inX, (dataSetSize,1)) - dataSet
   sqDiffMat = diffMat**2
   sqDistances = sqDiffMat.sum(axis=1)
   distances = sqDistances**0.5
   sortedDistances = distances.argsort()
   classCount = {}
   for i in range(k):
     numOflabel = labels[sortedDistances[i]]
     classCount[numOflabel] = classCount.get(numOflabel,0) + 1
   sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1),reverse=True)
   return sortedClassCount[0][0]
 my = classify([0,0], group, labels, 3)
 print my

运算结果如下:

Python语言实现机器学习的K-近邻算法

 输出结果是B:说明我们新的数据([0,0])是属于B类。

代码详解

相信有很多朋友们对上面这个代码有很多不理解的地方,接下来,我重点讲解几个此函数的关键点,以方便读者们和我自己回顾一下这个算法代码。

classify函数的参数:

inX:用于分类的输入向量
dataSet:训练样本集合
labels:标签向量
k:K-近邻算法中的k
shape:是array的属性,描述一个多维数组的维度

tile(inX, (dataSetSize,1)):把inX二维数组化,dataSetSize表示生成数组后的行数,1表示列的倍数。整个这一行代码表示前一个二维数组矩阵的每一个元素减去后一个数组对应的元素值,这样就实现了矩阵之间的减法,简单方便得不让你佩服不行!

axis=1:参数等于1的时候,表示矩阵中行之间的数的求和,等于0的时候表示列之间数的求和。

argsort():对一个数组进行非降序排序

classCount.get(numOflabel,0) + 1:这一行代码不得不说的确很精美啊。get():该方法是访问字典项的方法,即访问下标键为numOflabel的项,如果没有这一项,那么初始值为0。然后把这一项的值加1。所以Python中实现这样的操作就只需要一行代码,实在是很简洁高效。

后话

K-近邻算法(KNN)原理以及代码实现差不多就这样了,接下来的任务就是更加熟悉它,争取达到裸敲的地步。

以上所述上就是本文的全部内容了,希望大家能够喜欢。

Python 相关文章推荐
python装饰器使用方法实例
Nov 21 Python
Python队列的定义与使用方法示例
Jun 24 Python
Python中函数eval和ast.literal_eval的区别详解
Aug 10 Python
win7 x64系统中安装Scrapy的方法
Nov 18 Python
对python xlrd读取datetime类型数据的方法详解
Dec 26 Python
基于python的ini配置文件操作工具类
Apr 24 Python
Pyqt5 实现跳转界面并关闭当前界面的方法
Jun 19 Python
Python制作词云图代码实例
Sep 09 Python
python 使用while写猜年龄小游戏过程解析
Oct 07 Python
解决pycharm中导入自己写的.py函数出错问题
Feb 12 Python
解决json中ensure_ascii=False的问题
Apr 03 Python
总结Python变量的相关知识
Jun 28 Python
在Linux下使用Python的matplotlib绘制数据图的教程
Jun 11 #Python
python中的代码编码格式转换问题
Jun 10 #Python
python实现数独算法实例
Jun 09 #Python
python中的全局变量用法分析
Jun 09 #Python
python简单实现计算过期时间的方法
Jun 09 #Python
Python扫描IP段查看指定端口是否开放的方法
Jun 09 #Python
Python实现数据库编程方法详解
Jun 09 #Python
You might like
为PHP初学者的8点有效建议
2010/11/20 PHP
PHP代码保护--Zend Guard的使用详解
2013/06/03 PHP
mcrypt启用 加密以及解密过程详细解析
2013/08/07 PHP
php使用COPY函数更新配置文件的方法
2015/06/18 PHP
利用PHP获取网站访客的所在地位置
2017/01/18 PHP
php对象工厂类完整示例
2018/08/09 PHP
jquery ajax提交表单数据的两种方式
2009/11/24 Javascript
jQuery学习笔记(4)--Jquery中获取table中某列值的具体思路
2013/04/10 Javascript
js innerHTML 改变div内容的方法
2013/08/03 Javascript
javaScript使用EL表达式的几种方式
2014/05/27 Javascript
JS实用的动画弹出层效果实例
2015/05/05 Javascript
javascript电商网站抢购倒计时效果实现
2015/11/19 Javascript
AngularJS入门教程之Scope(作用域)
2016/07/27 Javascript
jQuery实现带延时功能的水平多级菜单效果【附demo源码下载】
2016/09/21 Javascript
解决Extjs下拉框不显示的问题
2017/06/21 Javascript
React学习笔记之条件渲染(一)
2017/07/02 Javascript
javascript 初学教程及五子棋小程序的简单实现
2017/07/04 Javascript
AngularJS中下拉框的高级用法示例
2017/10/11 Javascript
深入讨论Python函数的参数的默认值所引发的问题的原因
2015/03/30 Python
python实现ping的方法
2015/07/06 Python
深入剖析Python的爬虫框架Scrapy的结构与运作流程
2016/01/20 Python
python模拟Django框架实例
2016/05/17 Python
微信跳一跳python辅助脚本(总结)
2018/01/11 Python
使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法
2018/06/22 Python
如何安装并使用conda指令管理python环境
2019/07/10 Python
python中bs4.BeautifulSoup的基本用法
2019/07/27 Python
python GUI库图形界面开发之PyQt5多线程中信号与槽的详细使用方法与实例
2020/03/08 Python
GWebs公司笔试题
2012/05/04 面试题
广告学专业毕业生自荐信
2014/05/28 职场文书
劳动竞赛口号
2014/06/16 职场文书
建筑施工安全责任书
2014/07/24 职场文书
税务干部群众路线教育实践活动自我剖析材料
2014/09/21 职场文书
2014年国庆节庆祝建国65周年比赛演讲稿
2014/09/21 职场文书
无保留意见审计报告
2015/06/05 职场文书
运动会加油稿50字
2015/07/21 职场文书
导游词之南昌滕王阁
2019/11/29 职场文书