python机器学习之KNN分类算法


Posted in Python onAugust 29, 2018

本文为大家分享了python机器学习之KNN分类算法,供大家参考,具体内容如下

1、KNN分类算法

KNN分类算法(K-Nearest-Neighbors Classification),又叫K近邻算法,是一个概念极其简单,而分类效果又很优秀的分类算法。

他的核心思想就是,要确定测试样本属于哪一类,就寻找所有训练样本中与该测试样本“距离”最近的前K个样本,然后看这K个样本大部分属于哪一类,那么就认为这个测试样本也属于哪一类。简单的说就是让最相似的K个样本来投票决定。

这里所说的距离,一般最常用的就是多维空间的欧式距离。这里的维度指特征维度,即样本有几个特征就属于几维。

KNN示意图如下所示。(图片来源:百度百科)

python机器学习之KNN分类算法

上图中要确定测试样本绿色属于蓝色还是红色。

显然,当K=3时,将以1:2的投票结果分类于红色;而K=5时,将以3:2的投票结果分类于蓝色。

KNN算法简单有效,但没有优化的暴力法效率容易达到瓶颈。如样本个数为N,特征维度为D的时候,该算法时间复杂度呈O(DN)增长。

所以通常KNN的实现会把训练数据构建成K-D Tree(K-dimensional tree),构建过程很快,甚至不用计算D维欧氏距离,而搜索速度高达O(D*log(N))。

不过当D维度过高,会产生所谓的”维度灾难“,最终效率会降低到与暴力法一样。

因此通常D>20以后,最好使用更高效率的Ball-Tree,其时间复杂度为O(D*log(N))。

人们经过长期的实践发现KNN算法虽然简单,但能处理大规模的数据分类,尤其适用于样本分类边界不规则的情况。最重要的是该算法是很多高级机器学习算法的基础。

当然,KNN算法也存在一切问题。比如如果训练数据大部分都属于某一类,投票算法就有很大问题了。这时候就需要考虑设计每个投票者票的权重了。

2、测试数据

测试数据的格式仍然和前面使用的身高体重数据一致。不过数据增加了一些:

1.5 40 thin
1.5 50 fat
1.5 60 fat
1.6 40 thin
1.6 50 thin
1.6 60 fat
1.6 70 fat
1.7 50 thin
1.7 60 thin
1.7 70 fat
1.7 80 fat
1.8 60 thin
1.8 70 thin
1.8 80 fat
1.8 90 fat
1.9 80 thin
1.9 90 fat

3、Python代码

scikit-learn提供了优秀的KNN算法支持。使用Python代码如下:

# -*- coding: utf-8 -*-
import numpy as np
from sklearn import neighbors
from sklearn.metrics import precision_recall_curve
from sklearn.metrics import classification_report
from sklearn.cross_validation import train_test_split
import matplotlib.pyplot as plt
 
''' 数据读入 '''
data = []
labels = []
with open("data\\1.txt") as ifile:
 for line in ifile:
  tokens = line.strip().split(' ')
  data.append([float(tk) for tk in tokens[:-1]])
  labels.append(tokens[-1])
x = np.array(data)
labels = np.array(labels)
y = np.zeros(labels.shape)
 
''' 标签转换为0/1 '''
y[labels=='fat']=1
 
''' 拆分训练数据与测试数据 '''
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.2)
 
''' 创建网格以方便绘制 '''
h = .01
x_min, x_max = x[:, 0].min() - 0.1, x[:, 0].max() + 0.1
y_min, y_max = x[:, 1].min() - 1, x[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
   np.arange(y_min, y_max, h))
 
''' 训练KNN分类器 '''
clf = neighbors.KNeighborsClassifier(algorithm='kd_tree')
clf.fit(x_train, y_train)
 
'''测试结果的打印'''
answer = clf.predict(x)
print(x)
print(answer)
print(y)
print(np.mean( answer == y))
 
'''准确率与召回率'''
precision, recall, thresholds = precision_recall_curve(y_train, clf.predict(x_train))
answer = clf.predict_proba(x)[:,1]
print(classification_report(y, answer, target_names = ['thin', 'fat']))
 
''' 将整个测试空间的分类结果用不同颜色区分开'''
answer = clf.predict_proba(np.c_[xx.ravel(), yy.ravel()])[:,1]
z = answer.reshape(xx.shape)
plt.contourf(xx, yy, z, cmap=plt.cm.Paired, alpha=0.8)
 
''' 绘制训练样本 '''
plt.scatter(x_train[:, 0], x_train[:, 1], c=y_train, cmap=plt.cm.Paired)
plt.xlabel(u'身高')
plt.ylabel(u'体重')
plt.show()

4、结果分析

其输出结果如下:

[ 0.  0.  1.  0.  0.  1.  1.  0.  0.  1.  1.  0.  0.  1.  1.  0.  1.]
[ 0.  1.  1.  0.  0.  1.  1.  0.  0.  1.  1.  0.  0.  1.  1.  0.  1.]
准确率=0.94, score=0.94
             precision    recall  f1-score   support
       thin      0.89      1.00      0.94         8
        fat       1.00      0.89      0.94         9
avg / total       0.95      0.94      0.94        17

python机器学习之KNN分类算法

KNN分类器在众多分类算法中属于最简单的之一,需要注意的地方不多。有这几点要说明:

1、KNeighborsClassifier可以设置3种算法:‘brute',‘kd_tree',‘ball_tree'。如果不知道用哪个好,设置‘auto'让KNeighborsClassifier自己根据输入去决定。

2、注意统计准确率时,分类器的score返回的是计算正确的比例,而不是R2。R2一般应用于回归问题。

3、本例先根据样本中身高体重的最大最小值,生成了一个密集网格(步长h=0.01),然后将网格中的每一个点都当成测试样本去测试,最后使用contourf函数,使用不同的颜色标注出了胖、?C两类。

容易看到,本例的分类边界,属于相对复杂,但却又与距离呈现明显规则的锯齿形。

这种边界线性函数是难以处理的。而KNN算法处理此类边界问题具有天生的优势。我们在后续的系列中会看到,这个数据集达到准确率=0.94算是很优秀的结果了。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 不关闭控制台的实现方法
Oct 23 Python
python字典多条件排序方法实例
Jun 30 Python
Python中列表、字典、元组、集合数据结构整理
Nov 20 Python
在Python中使用itertools模块中的组合函数的教程
Apr 13 Python
使用Python发送邮件附件以定时备份MySQL的教程
Apr 25 Python
Python面向对象编程之继承与多态详解
Jan 16 Python
用TensorFlow实现戴明回归算法的示例
May 02 Python
Python 实现两个列表里元素对应相乘的方法
Nov 14 Python
对pandas里的loc并列条件索引的实例讲解
Nov 15 Python
python实现微信打飞机游戏
Mar 24 Python
Python使用tkinter实现摇骰子小游戏功能的代码
Jul 02 Python
Manjaro、pip、conda更换国内源的方法
Nov 17 Python
深入理解python中sort()与sorted()的区别
Aug 29 #Python
Python实现拷贝/删除文件夹的方法详解
Aug 29 #Python
Python读写zip压缩文件的方法
Aug 29 #Python
使用python生成杨辉三角形的示例代码
Aug 29 #Python
Python实现查询某个目录下修改时间最新的文件示例
Aug 29 #Python
有关Python的22个编程技巧
Aug 29 #Python
Python实现多线程的两种方式分析
Aug 29 #Python
You might like
几个有用的php字符串过滤,转换函数代码
2012/05/01 PHP
yii框架结合charjs统计上一年与当前年数据的方法示例
2020/04/04 PHP
js 异步操作回调函数如何控制执行顺序
2013/12/24 Javascript
为开发者准备的10款最好的jQuery日历插件
2014/02/04 Javascript
jquery淡化版banner异步图片文字效果切换图片特效
2014/04/08 Javascript
AngularJS使用ngMessages进行表单验证
2015/12/27 Javascript
用js实现放大镜的效果的简单实例
2016/05/23 Javascript
jquery分隔Url的param方法(推荐)
2016/05/25 Javascript
js微信扫描二维码登录网站技术原理
2016/12/01 Javascript
JS实现元素上下左右移动效果
2017/10/18 Javascript
JS基于贪心算法解决背包问题示例
2017/11/27 Javascript
AngularJS动态添加数据并删除的实例
2018/02/27 Javascript
详解webpack打包第三方类库的正确姿势
2018/10/20 Javascript
[57:28]2018DOTA2亚洲邀请赛 4.6 淘汰赛 TNC vs Liquid 第一场
2018/04/10 DOTA
使用Python进行二进制文件读写的简单方法(推荐)
2016/09/12 Python
Python3 模块、包调用&路径详解
2017/10/25 Python
在Windows中设置Python环境变量的实例讲解
2018/04/28 Python
python中datetime模块中strftime/strptime函数的使用
2018/07/03 Python
Python一行代码实现快速排序的方法
2019/04/30 Python
Django实现微信小程序的登录验证功能并维护登录态
2019/07/04 Python
Python 控制终端输出文字的实例
2019/07/12 Python
读取nii或nii.gz文件中的信息即输出图像操作
2020/07/01 Python
Python urllib3软件包的使用说明
2020/11/18 Python
canvas绘图按照contain或者cover方式适配并居中显示
2019/02/18 HTML / CSS
详解通过focusout事件解决IOS键盘收起时界面不归位的问题
2019/07/18 HTML / CSS
意大利奢华内衣制造商:Cosabella
2017/08/29 全球购物
Glamest意大利:女性在线奢侈品零售店
2019/04/28 全球购物
暑假实习求职信范文
2013/09/22 职场文书
应征英语教师求职信
2013/11/27 职场文书
行政人事经理职位说明书
2014/03/05 职场文书
幼儿园大班家长评语
2014/04/17 职场文书
农业生产宣传标语
2014/10/08 职场文书
正风肃纪剖析材料范文
2014/10/10 职场文书
2015年医德考评自我评价
2015/03/03 职场文书
2015年读书月活动总结
2015/03/26 职场文书
民事代理词范文
2015/05/25 职场文书