基于python实现KNN分类算法


Posted in Python onApril 23, 2020

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时,只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,kNN方法较其他方法更为适合。

通俗简单的说,就是将这个样本进行分类,怎么分类,就是用该样本的特征与空间中其他样本做计算距离,当出现大多数距离偏向于某个样本类时,我们认为该样本属于这个类别。

举例说明:淘宝商品是按类进行售卖的,对于零食类商品a,b,c,价格与销量分别对应(19,1000),(89,500),(9.9,3000)对与电器类商品d,e,f,价格与销量分别为(1000,10),(499,30),(999,100),对于一个未知的产品(300,80),我们使用kNN算法进行求解,我们假设k=3(k的值要时情况而定,没有确定的),分别求出未知产品到这六个点的欧式距离,即:sqrt((x1-y1)**2+(x2-y2)**2)计算出结果进行倒序排序,我们得出前三的点分别为:e,b,f。所以我们认为未知产品是电器类产品,当然实际生活中不能仅仅有价格,销量这两个二维数据,可能是n维数据,欧式距离的公式也是一样的,现实中也不仅仅有这两个分类,kNN提供了一种简单的解决思路。其中a,b,c,d,e,f称为训练数据,未知数据称为测试数据。

还有在进行计算时有时需要格式化一下数据,例如对于c产品与未知产品,明显计算销量所产生的数据要远大于价格,为了减小这个带来的误差,可以使用以下:

def normData(dataSet):
 maxVals = dataSet.max(axis=0)#按列获取最大值,并返回数组
 minVals = dataSet.min(axis=0)
 ranges = maxVals - minVals
 retData = (dataSet - minVals) / ranges
 return retData, ranges, minVals

代码

#!/user/bin/env python
#-*- coding:utf-8 -*-
import numpy as np
import operator as opt

def normData(dataSet):#标准化训练集数据
 maxVals = dataSet.max(axis=0)
 minVals = dataSet.min(axis=0)
 ranges = maxVals - minVals
 retData = (dataSet - minVals) / ranges
 return retData, ranges, minVals

def kNN(dataSet, labels, testData, k):
 distSquareMat = (dataSet - testData) ** 2 # 计算差值的平方
 distSquareSums = distSquareMat.sum(axis=1) # 求每一行的差值平方和,axis=0则按列计算
 distances = distSquareSums ** 0.5 # 开根号,得出每个样本到测试点的距离
 sortedIndices = distances.argsort() # 排序,得到排序后的下标
 indices = sortedIndices[:k] # 取最小的k个
 labelCount = {} # 存储每个label的出现次数,出现次数最多的就是我们要选择的类别
 for i in indices:
 label = labels[i]
 labelCount[label] = labelCount.get(label, 0) + 1 # 次数加一,使用字典的get方法,第一次出现时默认值是0
 sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True) # 对label出现的次数从大到小进行排序
 return sortedCount[0][0] # 返回出现次数最大的label

if __name__ == "__main__":#测试程序
 dataSet = np.array([[2, 3], [6, 8]])#训练集
 normDataSet, ranges, minVals = normData(dataSet)
 labels = ['a', 'b']#训练集分别为a和b类
 testData = np.array([3.9, 5.5])#测试数据
 normTestData = (testData - minVals) / ranges#同样需要将测试数据标准化
 result = kNN(normDataSet, labels, normTestData, 1)#k=1
 print(result)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python入门篇之面向对象
Oct 20 Python
Django的session中对于用户验证的支持
Jul 23 Python
Python处理JSON时的值报错及编码报错的两则解决实录
Jun 26 Python
python中urlparse模块介绍与使用示例
Nov 19 Python
Python实现的求解最大公约数算法示例
May 03 Python
利用Python实现在同一网络中的本地文件共享方法
Jun 04 Python
关于Django ForeignKey 反向查询中filter和_set的效率对比详解
Dec 15 Python
Gauss-Seidel迭代算法的Python实现详解
Jun 29 Python
详解Django中 render() 函数的使用方法
Apr 22 Python
Python实现8种常用抽样方法
Jun 27 Python
python双向链表实例详解
May 25 Python
Python中requests库的用法详解
Jun 05 Python
python实现定时发送qq消息
Jan 18 #Python
如何在Django中设置定时任务的方法示例
Jan 18 #Python
Python设计模式之工厂方法模式实例详解
Jan 18 #Python
Python设计模式之原型模式实例详解
Jan 18 #Python
基于Python实现迪杰斯特拉和弗洛伊德算法
May 27 #Python
Python中logging实例讲解
Jan 17 #Python
python矩阵/字典实现最短路径算法
Jan 17 #Python
You might like
PHP APC缓存配置、使用详解
2014/03/06 PHP
高质量PHP代码的50个实用技巧必备(下)
2016/01/22 PHP
浅析PHP中的闭包和匿名函数
2017/12/25 PHP
nodejs win7下安装方法
2012/05/24 NodeJs
回车直接实现点击某按钮的效果即触发单击事件
2014/02/27 Javascript
js控制元素显示在屏幕固定位置及监听屏幕高度变化的方法
2015/08/11 Javascript
jquery弹出框插件jquery.ui.dialog用法分析
2016/08/20 Javascript
js实现登录验证码
2016/12/22 Javascript
Bootstrap源码解读导航条(7)
2016/12/23 Javascript
Spring Boot+AngularJS+BootStrap实现进度条示例代码
2017/03/02 Javascript
将angular-ui的分页组件封装成指令的方法详解
2017/05/10 Javascript
Vue学习笔记进阶篇之vue-cli安装及介绍
2017/07/18 Javascript
ReactNative列表ListView的用法
2017/08/02 Javascript
jQuery实现的两种简单弹窗效果示例
2018/04/18 jQuery
vue-devtools的安装步骤
2018/04/23 Javascript
vue2.0+ 从插件开发到npm发布的示例代码
2018/04/28 Javascript
Vue.js实现双向数据绑定方法(表单自动赋值、表单自动取值)
2018/08/27 Javascript
使用jquery Ajax实现上传附件功能
2018/10/23 jQuery
vue项目上传Github预览的实现示例
2018/11/06 Javascript
vue 子组件watch监听不到prop的解决
2020/08/09 Javascript
vue实现几秒后跳转新页面代码
2020/09/09 Javascript
JQuery+drag.js上传图片并且实现图片拖曳
2020/11/18 jQuery
Python 实现数据库更新脚本的生成方法
2017/07/09 Python
pytorch实现CNN卷积神经网络
2020/02/19 Python
python 字符串格式化的示例
2020/09/21 Python
荷兰优雅女装网上商店:Heine
2016/11/14 全球购物
希尔顿酒店中国网站:Hilton中国
2017/03/11 全球购物
瑞典香水、须后水和美容产品购物网站:Parfym-Klick.se
2019/12/29 全球购物
家长会主持词
2014/03/26 职场文书
大学生村官考核材料
2014/05/23 职场文书
戒赌保证书
2015/05/11 职场文书
和谐拯救危机观后感
2015/06/15 职场文书
哈姆雷特读书笔记
2015/06/29 职场文书
2019年年中工作总结讲话稿模板
2019/03/25 职场文书
通过feDisplacementMap和feImage实现水波特效
2022/04/24 HTML / CSS
el-table-column 内容不自动换行的解决方法
2022/08/14 Vue.js