python使用knn实现特征向量分类


Posted in Python onDecember 26, 2018

这是一个使用knn把特征向量进行分类的demo。

Knn算法的思想简单说就是:看输入的sample点周围的k个点都属于哪个类,哪个类的点最多,就把sample归为哪个类。也就是说,训练集是一些已经被手动打好标签的数据,knn会根据你打好的标签来挖掘同类对象的相似点,从而推算sample的标签。

Knn算法的准确度受k影响较大,可能需要写个循环试一下选出针对不同数据集的最优的k。

至于如何拿到特征向量,可以参考之前的博文。

代码:

#-*- coding: utf-8 -*-
__author__ = 'Rossie'
from numpy import *
import operator

'''构造数据'''
def createDataSet():
  characters=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
  labels=['A','A','B','B']
  return characters,labels

'''从文件中读取数据,将文本记录转换为矩阵,提取其中特征和类标'''
def file2matrix(filename):
  fr=open(filename)
  arrayOLines=fr.readlines()
  numberOfLines=len(arrayOLines)    #得到文件行数
  returnMat=zeros((numberOfLines,3))   #创建以零填充的numberOfLines*3的NumPy矩阵
  classLabelVector=[]
  index=0
  for line in arrayOLines:       #解析文件数据到列表
    line=line.strip()
    listFromLine=line.split('\t')
    returnMat[index, :]=listFromLine[0:3]
    classLabelVector.append(listFromLine[-1])
    index+=1
  return returnMat,classLabelVector   #返回特征矩阵和类标集合

'''归一化数字特征值到0-1范围'''
'''输入为特征值矩阵'''
def autoNorm(dataSet):
  minVals=dataSet.min(0)
  maxVals=dataSet.max(0)
  ranges=maxVals-minVals
  normDataSet=zeros(shape(dataSet))
  m=dataSet.shape[0]
  normDataSet=dataSet-tile(minVals,(m,1))
  normDataSet=normDataSet/tile(ranges,(m,1))
  return normDataSet,ranges, minVals
  
def classify(sample,dataSet,labels,k):
  dataSetSize=dataSet.shape[0]   #数据集行数即数据集记录数
  '''距离计算'''
  diffMat=tile(sample,(dataSetSize,1))-dataSet     #样本与原先所有样本的差值矩阵
  sqDiffMat=diffMat**2   #差值矩阵平方
  sqDistances=sqDiffMat.sum(axis=1)    #计算每一行上元素的和
  distances=sqDistances**0.5  #开方
  sortedDistIndicies=distances.argsort()   #按distances中元素进行升序排序后得到的对应下标的列表
  '''选择距离最小的k个点'''
  classCount={}
  for i in range(k):
    voteIlabel=labels[sortedDistIndicies[i]]
    classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
  '''从大到小排序'''
  sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
  return sortedClassCount[0][0]

'''针对约会网站数据的测试代码'''
def datingClassTest():
  hoRatio=0.20     #测试样例数据比例
  datingDataMat,datingLabels=file2matrix('datingTestSet1.txt')
  normMat, ranges, minVals=autoNorm(datingDataMat)
  m =normMat.shape[0]
  numTestVecs=int(m*hoRatio)
  errorCount=0.0
  k=4
  for i in range(numTestVecs):
    classifierResult=classify(normMat[i, : ],normMat[numTestVecs:m, : ],datingLabels[numTestVecs:m],k)
    print("The classifier came back with: %s, thereal answer is: %s" %(classifierResult, datingLabels[i]))
    if(classifierResult!= datingLabels [i] ) :
      errorCount += 1.0
  print("the total error rate is: %f" % (errorCount/float(numTestVecs)))

def main():
  sample=[0,0]#简单样本测试
  sampleText = [39948,6.830795,1.213342]#文本中向量样本测试
  k=3
  group,labels=createDataSet()
  label1=classify(sample,group,labels,k)#简单样本的分类结果
  fileN = "datingTestSet.txt"
  matrix,label = file2matrix(fileN)
  label2 =classify(sampleText,matrix,label,k)#文本样本的分类结果
  print("ClassifiedLabel of the simple sample:"+label1)
  print("Classified Label of the textsample:"+label2)



if __name__=='__main__':
  main()
  #datingClassTest()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python sqlobject(mysql)中文乱码解决方法
Nov 14 Python
python中for语句简单遍历数据的方法
May 07 Python
Python实现批量下载图片的方法
Jul 08 Python
django基础之数据库操作方法(详解)
May 24 Python
用python 批量更改图像尺寸到统一大小的方法
Mar 31 Python
Python利用Django如何写restful api接口详解
Jun 08 Python
Appium+python自动化之连接模拟器并启动淘宝APP(超详解)
Jun 17 Python
对Tensorflow中Device实例的生成和管理详解
Feb 04 Python
Python selenium抓取虎牙短视频代码实例
Mar 02 Python
python如何使用代码运行助手
Jul 03 Python
python 爬取腾讯视频评论的实现步骤
Feb 18 Python
Python中Matplotlib的点、线形状、颜色以及绘制散点图
Apr 07 Python
python调用staf自动化框架的方法
Dec 26 #Python
Django unittest 设置跳过某些case的方法
Dec 26 #Python
python 2.7 检测一个网页是否能正常访问的方法
Dec 26 #Python
在python中使用requests 模拟浏览器发送请求数据的方法
Dec 26 #Python
Django+JS 实现点击头像即可更改头像的方法示例
Dec 26 #Python
Python使用requests提交HTTP表单的方法
Dec 26 #Python
利用Pyhton中的requests包进行网页访问测试的方法
Dec 26 #Python
You might like
咖啡常见的种类
2021/03/03 新手入门
咖啡产品发展的三大浪潮
2021/03/04 咖啡文化
如何在PHP中使用正则表达式进行查找替换
2013/06/13 PHP
php页面缓存方法小结
2015/01/10 PHP
Ubuntu彻底删除PHP7.0的方法
2018/07/27 PHP
PHP接入支付宝接口失效流程详解
2020/11/10 PHP
通过隐藏option实现select的联动效果
2009/11/10 Javascript
让图片旋转任意角度及JQuery插件使用介绍
2013/03/20 Javascript
JS Replace()的高级使用方法介绍
2013/06/29 Javascript
javascript实现可拖动变色并关闭层窗口实例
2015/05/15 Javascript
详解Node.js包的工程目录与NPM包管理器的使用
2016/02/16 Javascript
微信小程序返回多级页面的实现方法
2017/10/27 Javascript
vue axios登录请求拦截器
2018/04/02 Javascript
浅谈发布订阅模式与观察者模式
2019/04/09 Javascript
ES6数组与对象的解构赋值详解
2019/06/14 Javascript
教你如何用Node实现API的转发(某音乐)
2019/09/20 Javascript
jQuery实现简单三级联动效果
2020/09/05 jQuery
python format 格式化输出方法
2018/07/16 Python
从请求到响应过程中django都做了哪些处理
2018/08/01 Python
Python 实现微信防撤回功能
2019/04/29 Python
一文详述 Python 中的 property 语法
2020/09/01 Python
HTML中meta标签及Keywords
2020/04/15 HTML / CSS
给水工程专业毕业生自荐信
2014/01/28 职场文书
学生党支部先进事迹
2014/02/04 职场文书
迎新晚会主持词
2014/03/24 职场文书
小学毕业典礼主持词
2014/03/27 职场文书
员工安全生产承诺书
2014/05/22 职场文书
介绍信怎么写
2015/01/30 职场文书
教师个人师德总结
2015/02/06 职场文书
病危通知单
2015/04/17 职场文书
2015年党员岗位承诺书
2015/04/27 职场文书
圣诞晚会主持词开场白
2015/05/28 职场文书
2016中秋晚会开幕词
2016/03/03 职场文书
PyCharm配置KBEngine快速处理代码提示冲突、配置命令问题
2021/04/03 Python
详解python网络进程
2021/06/15 Python
MySQL 四种连接和多表查询详解
2021/07/16 MySQL