python实现感知器算法(批处理)


Posted in Python onJanuary 18, 2019

本文实例为大家分享了Python感知器算法实现的具体代码,供大家参考,具体内容如下

先创建感知器类:用于二分类

# -*- coding: utf-8 -*-
 
import numpy as np
 
 
class Perceptron(object):
  """
  感知器:用于二分类
  参照改写 https://blog.csdn.net/simple_the_best/article/details/54619495
  
  属性:
  w0:偏差
  w:权向量
  learning_rate:学习率
  threshold:准则阈值
  """
  
  def __init__(self,learning_rate=0.01,threshold=0.001):
    self.learning_rate=learning_rate
    self.threshold=threshold
    
  def train(self,x,y):
    """训练
    参数:
    x:样本,维度为n*m(样本有m个特征,x输入就是m维),样本数量为n
    y:类标,维度为n*1,取值1和-1(正样本和负样本)
    
    返回:
    self:object
    """
    self.w0=0.0
    self.w=np.full(x.shape[1],0.0)
    
    k=0
    while(True):
      k+=1
      dJw0=0.0
      dJw=np.zeros(x.shape[1])
      err=0.0
      for i in range(0,x.shape[0]):
        if not (y[i]==1 or y[i]==-1):
          print("类标只能为1或-1!请核对!")
          break
        update=self.learning_rate*0.5*(y[i]-self.predict(x[i]))
        dJw0+=update
        dJw+=update*x[i]
        err+=np.abs(0.5*(y[i]-self.predict(x[i])))
      self.w0 += dJw0
      self.w += dJw
      if np.abs(np.sum(self.learning_rate*dJw))<self.threshold or k>500:
        print("迭代次数:",k," 错分样本数:",err)
        break
    return self
    
    
  def predict(self,x):
    """预测类别
    参数:
    x:样本,1*m维,1个样本,m维特征
    
    返回:
    yhat:预测的类标号,1或者-1,1代表正样本,-1代表负样本
    """
    if np.matmul(self.w,x.T)+self.w0>0:
      yhat=1
    else:
      yhat=-1
    return yhat 
  
  def predict_value(self,x):
    """预测值
    参数:
    x:样本,1*m维,1个样本,m维特征
    
    返回:
    y:预测值
    """
    y=np.matmul(self.w,x.T)+self.w0
    return y

然后为Iris数据集创建一个Iris类,用于产生5折验证所需要的数据,并且能产生不同样本数量的数据集。

# -*- coding: utf-8 -*-
"""
Author:CommissarMa
2018年5月23日 16点52分
"""
import numpy as np
import scipy.io as sio
 
 
class Iris(object):
  """Iris数据集
  参数:
  data:根据size裁剪出来的iris数据集
  size:每种类型的样本数量
  way:one against the rest || one against one
  
  注意:
  此处规定5折交叉验证(5-cv),所以每种类型样本的数量要是5的倍数
  多分类方式:one against the rest
  """
  
  def __init__(self,size=50,way="one against the rest"):
    """
    size:每种类型的样本数量
    """
    data=sio.loadmat("C:\\Users\\CommissarMa\\Desktop\\模式识别\\课件ppt\\PR实验内容\\iris_data.mat")
    iris_data=data['iris_data']#iris_data:原数据集,shape:150*4,1-50个样本为第一类,51-100个样本为第二类,101-150个样本为第三类
    self.size=size
    self.way=way
    self.data=np.zeros((size*3,4))
    for r in range(0,size*3):
      self.data[r]=iris_data[int(r/size)*50+r%size]
    
  
  def generate_train_data(self,index_fold,index_class,neg_class=None):
    """
    index_fold:5折验证的第几折,范围:0,1,2,3,4
    index_class:第几类作为正类,类别号:负类样本为-1,正类样本为1
    """
    if self.way=="one against the rest":
      fold_size=int(self.size/5)#将每类样本分成5份
      train_data=np.zeros((fold_size*4*3,4))
      label_data=np.full((fold_size*4*3),-1)
      for r in range(0,fold_size*4*3):
        n_class=int(r/(fold_size*4))#第几类
        n_fold=int((r%(fold_size*4))/fold_size)#第几折
        n=(r%(fold_size*4))%fold_size#第几个
        if n_fold<index_fold:
          train_data[r]=self.data[n_class*self.size+n_fold*fold_size+n]
        else:
          train_data[r]=self.data[n_class*self.size+(n_fold+1)*fold_size+n]
        
      label_data[fold_size*4*index_class:fold_size*4*(index_class+1)]=1
    elif self.way=="one against one":
      if neg_class==None:
        print("one against one模式下需要提供负类的序号!")
        return
      else:
        fold_size=int(self.size/5)#将每类样本分成5份
        train_data=np.zeros((fold_size*4*2,4))
        label_data=np.full((fold_size*4*2),-1)
        for r in range(0,fold_size*4*2):
          n_class=int(r/(fold_size*4))#第几类
          n_fold=int((r%(fold_size*4))/fold_size)#第几折
          n=(r%(fold_size*4))%fold_size#第几个
          if n_class==0:#放正类样本
            if n_fold<index_fold:
              train_data[r]=self.data[index_class*self.size+n_fold*fold_size+n]
            else:
              train_data[r]=self.data[index_class*self.size+(n_fold+1)*fold_size+n]
          if n_class==1:#放负类样本
            if n_fold<index_fold:
              train_data[r]=self.data[neg_class*self.size+n_fold*fold_size+n]
            else:
              train_data[r]=self.data[neg_class*self.size+(n_fold+1)*fold_size+n]
        label_data[0:fold_size*4]=1
    else:
      print("多分类方式错误!只能为one against one 或 one against the rest!")
      return
    
    return train_data,label_data
        
    
    
  def generate_test_data(self,index_fold):
    """生成测试数据
    index_fold:5折验证的第几折,范围:0,1,2,3,4
    
    返回值:
    test_data:对应于第index_fold折的测试数据
    label_data:类别号为0,1,2
    """
    fold_size=int(self.size/5)#将每类样本分成5份
    test_data=np.zeros((fold_size*3,4))
    label_data=np.zeros(fold_size*3)
    for r in range(0,fold_size*3):
      test_data[r]=self.data[int(int(r/fold_size)*self.size)+int(index_fold*fold_size)+r%fold_size]
    label_data[0:fold_size]=0
    label_data[fold_size:fold_size*2]=1
    label_data[fold_size*2:fold_size*3]=2
    
    return test_data,label_data

然后我们进行训练测试,先使用one against the rest策略:

# -*- coding: utf-8 -*-
 
from perceptron import Perceptron
from iris_data import Iris
import numpy as np
 
if __name__=="__main__":
   iris=Iris(size=50,way="one against the rest")
   
   correct_all=0
   for n_fold in range(0,5):
     p=[Perceptron(),Perceptron(),Perceptron()]
     for c in range(0,3):
       x,y=iris.generate_train_data(index_fold=n_fold,index_class=c)
       p[c].train(x,y)
     #训练完毕,开始测试
     correct=0
     x_test,y_test=iris.generate_test_data(index_fold=n_fold)
     num=len(x_test)
     for i in range(0,num):
       maxvalue=max(p[0].predict_value(x_test[i]),p[1].predict_value(x_test[i]),
          p[2].predict_value(x_test[i]))
       if maxvalue==p[int(y_test[i])].predict_value(x_test[i]):
         correct+=1
     print("错分数量:",num-correct,"错误率:",(num-correct)/num)
     correct_all+=correct
   print("平均错误率:",(num*5-correct_all)/(num*5))

然后使用one against one 策略去训练测试:

# -*- coding: utf-8 -*-
 
from perceptron import Perceptron
from iris_data import Iris
import numpy as np
 
if __name__=="__main__":
   iris=Iris(size=10,way="one against one")
   
   correct_all=0
   for n_fold in range(0,5):
     #训练
     p01=Perceptron()#0类和1类比较的判别器
     p02=Perceptron()
     p12=Perceptron()
     x,y=iris.generate_train_data(index_fold=n_fold,index_class=0,neg_class=1)
     p01.train(x,y)
     x,y=iris.generate_train_data(index_fold=n_fold,index_class=0,neg_class=2)
     p02.train(x,y)
     x,y=iris.generate_train_data(index_fold=n_fold,index_class=1,neg_class=2)
     p12.train(x,y)
     #测试
     correct=0
     x_test,y_test=iris.generate_test_data(index_fold=n_fold)
     num=len(x_test)
     for i in range(0,num):
       vote0=0
       vote1=0
       vote2=0
       if p01.predict_value(x_test[i])>0:
         vote0+=1
       else:
         vote1+=1
       if p02.predict_value(x_test[i])>0:
         vote0+=1
       else:
         vote2+=1
       if p12.predict_value(x_test[i])>0:
         vote1+=1
       else:
         vote2+=1
       
       if vote0==max(vote0,vote1,vote2) and int(vote0)==int(y_test[i]):
         correct+=1
       elif vote1==max(vote0,vote1,vote2) and int(vote1)==int(y_test[i]):
         correct+=1
       elif vote2==max(vote0,vote1,vote2) and int(vote2)==int(y_test[i]):
         correct+=1
     print("错分数量:",num-correct,"错误率:",(num-correct)/num)
     correct_all+=correct
   print("平均错误率:",(num*5-correct_all)/(num*5))

实验结果如图所示:

python实现感知器算法(批处理)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
零基础写python爬虫之爬虫框架Scrapy安装配置
Nov 06 Python
浅析Python多线程下的变量问题
Apr 28 Python
简单介绍Python中的readline()方法的使用
May 24 Python
Window10+Python3.5安装opencv的教程推荐
Apr 02 Python
PyQt5每天必学之创建窗口居中效果
Apr 19 Python
用pycharm开发django项目示例代码
Oct 24 Python
Python3日期与时间戳转换的几种方法详解
Jun 04 Python
Python中的支持向量机SVM的使用(附实例代码)
Jun 26 Python
Python使用tkinter实现摇骰子小游戏功能的代码
Jul 02 Python
Python3.7安装PyQt5 运行配置Pycharm的详细教程
Oct 15 Python
pycharm中leetcode插件使用图文详解
Dec 07 Python
python实现简单的学生管理系统
Feb 22 Python
python实现多层感知器
Jan 18 #Python
python实现多层感知器MLP(基于双月数据集)
Jan 18 #Python
基于python实现KNN分类算法
Apr 23 #Python
python实现定时发送qq消息
Jan 18 #Python
如何在Django中设置定时任务的方法示例
Jan 18 #Python
Python设计模式之工厂方法模式实例详解
Jan 18 #Python
Python设计模式之原型模式实例详解
Jan 18 #Python
You might like
MVC模式的PHP实现
2006/10/09 PHP
php set_include_path函数设置 include_path 配置选项
2016/10/30 PHP
php 基础函数
2017/02/10 PHP
php 处理png图片白色背景色改为透明色的实例代码
2018/12/10 PHP
php array 转json及java 转换 json数据格式操作示例
2019/11/13 PHP
DOM 基本方法
2009/07/18 Javascript
基于jquery的checkbox下拉框插件代码
2010/06/25 Javascript
js 创建书签小工具之理论
2011/02/25 Javascript
jQuery学习笔记(4)--Jquery中获取table中某列值的具体思路
2013/04/10 Javascript
js导出table数据到excel即导出为EXCEL文档的方法
2013/10/10 Javascript
JavaScript函数的4种调用方法详解
2014/04/22 Javascript
Javascript核心读书有感之类型、值和变量
2015/02/11 Javascript
javascript弹出拖动窗口
2015/08/11 Javascript
input点击后placeholder中的提示消息消失
2016/01/15 Javascript
微信小程序 网络请求(post请求,get请求)
2017/01/17 Javascript
js轮播图无缝滚动效果
2017/06/17 Javascript
Mac 安装 nodejs方法(图文详细步骤)
2017/10/30 NodeJs
浅谈angular4.0中路由传递参数、获取参数最nice的写法
2018/03/12 Javascript
JS实现的杨辉三角【帕斯卡三角形】算法示例
2019/02/26 Javascript
JS实现指定区域的全屏显示功能示例
2019/04/25 Javascript
vue+element实现打印页面功能
2019/05/20 Javascript
python获取豆瓣电影简介代码分享
2014/01/16 Python
Python使用cookielib模块操作cookie的实例教程
2016/07/12 Python
python下载图片实现方法(超简单)
2017/07/21 Python
Python高级property属性用法实例分析
2019/11/19 Python
Pycharm中安装Pygal并使用Pygal模拟掷骰子(推荐)
2020/04/08 Python
Python使用xlrd实现读取合并单元格
2020/07/09 Python
Python字典fromkeys()方法使用代码实例
2020/07/20 Python
CSS3的first-child选择器实战攻略
2016/04/28 HTML / CSS
英国体育器材进口商店:UK Sport Imports
2017/03/14 全球购物
2014爱耳日宣传教育活动总结
2014/03/09 职场文书
2015商场元旦促销活动策划方案
2014/12/09 职场文书
2015年会计个人工作总结
2015/04/02 职场文书
导游词之江西赣州
2019/10/15 职场文书
总结Python变量的相关知识
2021/06/28 Python
Windows Server 2019 安装DHCP服务及相关配置
2022/04/28 Servers