BP神经网络原理及Python实现代码


Posted in Python onDecember 18, 2018

本文主要讲如何不依赖TenserFlow等高级API实现一个简单的神经网络来做分类,所有的代码都在下面;在构造的数据(通过程序构造)上做了验证,经过1个小时的训练分类的准确率可以达到97%。

完整的结构化代码见于:链接地址

先来说说原理

网络构造

BP神经网络原理及Python实现代码

上面是一个简单的三层网络;输入层包含节点X1 , X2;隐层包含H1,H2;输出层包含O1。
输入节点的数量要等于输入数据的变量数目。
隐层节点的数量通过经验来确定。
如果只是做分类,输出层一般一个节点就够了。

从输入到输出的过程

1.输入节点的输出等于输入,X1节点输入x1时,输出还是x1.
2. 隐层和输出层的输入I为上层输出的加权求和再加偏置,输出为f(I) , f为激活函数,可以取sigmoid。H1的输出为 sigmoid(w1x1 + w2x2 + b)

误差反向传播的过程

Python实现

构造测试数据

# -*- coding: utf-8 -*-
import numpy as np
from random import random as rdn

'''
说明:我们构造1000条数据,每条数据有三个属性(用a1 , a2 , a3表示)
a1 离散型 取值 1 到 10 , 均匀分布
a2 离散型 取值 1 到 10 , 均匀分布
a3 连续型 取值 1 到 100 , 且符合正态分布 
各属性之间独立。

共2个分类(0 , 1),属性值与类别之间的关系如下,
0 : a1 in [1 , 3] and a2 in [4 , 10] and a3 <= 50
1 : a1 in [1 , 3] and a2 in [4 , 10] and a3 > 50
0 : a1 in [1 , 3] and a2 in [1 , 3] and a3 > 30
1 : a1 in [1 , 3] and a2 in [1 , 3] and a3 <= 30
0 : a1 in [4 , 10] and a2 in [4 , 10] and a3 <= 50
1 : a1 in [4 , 10] and a2 in [4 , 10] and a3 > 50
0 : a1 in [4 , 10] and a2 in [1 , 3] and a3 > 30
1 : a1 in [4 , 10] and a2 in [1 , 3] and a3 <= 30
'''


def genData() :
 #为a3生成符合正态分布的数据
 a3_data = np.random.randn(1000) * 30 + 50
 data = []
 for i in range(1000) :
 #生成a1
 a1 = int(rdn()*10) + 1
 if a1 > 10 :
  a1 = 10
 #生成a2
 a2 = int(rdn()*10) + 1
 if a2 > 10 :
  a2 = 10
 #取a3
 a3 = a3_data[i] 
 #计算这条数据对应的类别
 c_id = 0
 if a1 <= 3 and a2 >= 4 and a3 <= 50 :
  c_id = 0 
 elif a1 <= 3 and a2 >= 4 and a3 > 50 :
  c_id = 1 
 elif a1 <= 3 and a2 < 4 and a3 > 30 :
  c_id = 0
 elif a1 <= 3 and a2 < 4 and a3 <= 30 :
  c_id = 1
 elif a1 > 3 and a2 >= 4 and a3 <= 50 :
  c_id = 0 
 elif a1 > 3 and a2 >= 4 and a3 > 50 :
  c_id = 1 
 elif a1 > 3 and a2 < 4 and a3 > 30 :
  c_id = 0
 elif a1 > 3 and a2 < 4 and a3 <= 30 :
  c_id = 1
 else :
  print('error')
 #拼合成字串
 str_line = str(i) + ',' + str(a1) + ',' + str(a2) + ',' + str(a3) + ',' + str(c_id)
 data.append(str_line)
 return '\n'.join(data)

激活函数

# -*- coding: utf-8 -*-
"""
Created on Sun Dec 2 14:49:31 2018

@author: congpeiqing
"""
import numpy as np

#sigmoid函数的导数为 f(x)*(1-f(x))
def sigmoid(x) :
 return 1/(1 + np.exp(-x))

网络实现

# -*- coding: utf-8 -*-
"""
Created on Sun Dec 2 14:49:31 2018

@author: congpeiqing
"""

from activation_funcs import sigmoid
from random import random

class InputNode(object) :
 def __init__(self , idx) :
 self.idx = idx
 self.output = None
  
 def setInput(self , value) :
 self.output = value
 
 def getOutput(self) :
 return self.output
 
 def refreshParas(self , p1 , p2) :
 pass
 
 
class Neurode(object) :
 def __init__(self , layer_name , idx , input_nodes , activation_func = None , powers = None , bias = None) :
 self.idx = idx 
 self.layer_name = layer_name
 self.input_nodes = input_nodes 
 if activation_func is not None :
  self.activation_func = activation_func
 else :
  #默认取 sigmoid
  self.activation_func = sigmoid
 if powers is not None :
  self.powers = powers
 else :
  self.powers = [random() for i in range(len(self.input_nodes))]
 if bias is not None :
  self.bias = bias
 else :
  self.bias = random()
 self.output = None
  
 def getOutput(self) :
 self.output = self.activation_func(sum(map(lambda x : x[0].getOutput()*x[1] , zip(self.input_nodes, self.powers))) + self.bias)
 return self.output
  
 def refreshParas(self , err , learn_rate) :
 err_add = self.output * (1 - self.output) * err 
 for i in range(len(self.input_nodes)) :
  #调用子节点
  self.input_nodes[i].refreshParas(self.powers[i] * err_add , learn_rate)
  #调节参数
  power_delta = learn_rate * err_add * self.input_nodes[i].output 
  self.powers[i] += power_delta
  bias_delta = learn_rate * err_add
  self.bias += bias_delta
 
 
class SimpleBP(object) :
 def __init__(self , input_node_num , hidden_layer_node_num , trainning_data , test_data) :
 self.input_node_num = input_node_num
 self.input_nodes = [InputNode(i) for i in range(input_node_num)]
 self.hidden_layer_nodes = [Neurode('H' , i , self.input_nodes) for i in range(hidden_layer_node_num)]
 self.output_node = Neurode('O' , 0 , self.hidden_layer_nodes)
 self.trainning_data = trainning_data
 self.test_data = test_data
 
 
 #逐条训练
 def trainByItem(self) :
 cnt = 0
 while True :
  cnt += 1
  learn_rate = 1.0/cnt
  sum_diff = 0.0
  #对于每一条训练数据进行一次训练过程
  for item in self.trainning_data :
  for i in range(self.input_node_num) :
   self.input_nodes[i].setInput(item[i])
  item_output = item[-1]
  nn_output = self.output_node.getOutput()
  #print('nn_output:' , nn_output)
  diff = (item_output-nn_output)
  sum_diff += abs(diff)
  self.output_node.refreshParas(diff , learn_rate)
  #print('refreshedParas')
  #结束条件 
  print(round(sum_diff / len(self.trainning_data) , 4))
  if sum_diff / len(self.trainning_data) < 0.1 :
  break
 
 def getAccuracy(self) :
 cnt = 0
 for item in self.test_data :
  for i in range(self.input_node_num) :
  self.input_nodes[i].setInput(item[i])
  item_output = item[-1]
  nn_output = self.output_node.getOutput()
  if (nn_output > 0.5 and item_output > 0.5) or (nn_output < 0.5 and item_output < 0.5) :
  cnt += 1
 return cnt/(len(self.test_data) + 0.0)

主调流程

# -*- coding: utf-8 -*-
"""
Created on Sun Dec 2 14:49:31 2018

@author: congpeiqing
"""
import os
from SimpleBP import SimpleBP
from GenData import genData

if not os.path.exists('data'):
 os.makedirs('data') 

#构造训练和测试数据
data_file = open('data/trainning_data.dat' , 'w')
data_file.write(genData())
data_file.close()

data_file = open('data/test_data.dat' , 'w')
data_file.write(genData())
data_file.close()


#文件格式:rec_id,attr1_value,attr2_value,attr3_value,class_id
#读取和解析训练数据
trainning_data_file = open('data/trainning_data.dat')
trainning_data = []
for line in trainning_data_file :
 line = line.strip()
 fld_list = line.split(',')
 trainning_data.append(tuple([float(field) for field in fld_list[1:]]))
trainning_data_file.close()

#读取和解析测试数据
test_data_file = open('data/test_data.dat')
test_data = []
for line in test_data_file :
 line = line.strip()
 fld_list = line.split(',')
 test_data.append(tuple([float(field) for field in fld_list[1:]]))
test_data_file.close()


#构造一个二分类网络 输入节点3个,隐层节点10个,输出节点一个
simple_bp = SimpleBP(3 , 10 , trainning_data , test_data)
#训练网络
simple_bp.trainByItem()
#测试分类准确率
print('Accuracy : ' , simple_bp.getAccuracy())
#训练时长比较长,准确率可以达到97%

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python自动连接ssh的方法
Mar 07 Python
Python标准库inspect的具体使用方法
Dec 06 Python
Python使用numpy产生正态分布随机数的向量或矩阵操作示例
Aug 22 Python
Python抽象和自定义类定义与用法示例
Aug 23 Python
Python图像处理之颜色的定义与使用分析
Jan 03 Python
详解python的四种内置数据结构
Mar 19 Python
python 类的继承 实例方法.静态方法.类方法的代码解析
Aug 23 Python
一行Python代码制作动态二维码的实现
Sep 09 Python
python 递归调用返回None的问题及解决方法
Mar 16 Python
Python startswith()和endswith() 方法原理解析
Apr 28 Python
Django Channel实时推送与聊天的示例代码
Apr 30 Python
python中把元组转换为namedtuple方法
Dec 09 Python
python 执行文件时额外参数获取的实例
Dec 18 #Python
python实现基于信息增益的决策树归纳
Dec 18 #Python
Django实现一对多表模型的跨表查询方法
Dec 18 #Python
Python实现字典排序、按照list中字典的某个key排序的方法示例
Dec 18 #Python
python实现求特征选择的信息增益
Dec 18 #Python
python实现连续图文识别
Dec 18 #Python
Django ManyToManyField 跨越中间表查询的方法
Dec 18 #Python
You might like
如何在PHP中使用Oracle数据库(3)
2006/10/09 PHP
php 方便水印和缩略图的图形类
2009/05/21 PHP
PHP+XML 制作简单的留言本 图文教程
2009/11/02 PHP
php fsockopen伪造post与get方法的详解
2013/06/14 PHP
php计算数组相同值出现次数的代码(array_count_values)
2015/01/20 PHP
php实现约瑟夫问题的方法小结
2015/03/23 PHP
php实现xml与json之间的相互转换功能实例
2016/07/07 PHP
Laravel获取所有的数据库表及结构的方法
2019/10/10 PHP
理解Javascript_02_理解undefined和null
2010/10/11 Javascript
jQuery中的height innerHeight outerHeight区别示例介绍
2014/06/15 Javascript
js实现上传图片预览的方法
2015/02/09 Javascript
js实现滚动条滚动到某个位置便自动定位某个tr
2021/01/20 Javascript
Vuejs第六篇之Vuejs与form元素实例解析
2016/09/05 Javascript
jQuery File Upload文件上传插件使用详解
2016/12/06 Javascript
javascript实现日期三级联动下拉框选择菜单
2020/12/03 Javascript
jQuery实现标签子元素的添加和赋值方法
2018/02/24 jQuery
vue中axios的封装问题(简易版拦截,get,post)
2018/06/15 Javascript
jquery实现联想词搜索框和搜索结果分页的示例
2018/10/10 jQuery
JS实现的简单tab切换功能完整示例
2019/06/20 Javascript
原生js实现密码强度验证功能
2020/03/18 Javascript
400多行Python代码实现了一个FTP服务器
2012/05/10 Python
Python环境变量设置方法
2016/08/28 Python
python实现石头剪刀布小游戏
2021/01/20 Python
Python函数递归调用实现原理实例解析
2020/08/11 Python
tensorflow与numpy的版本兼容性问题的解决
2021/01/08 Python
ZWILLING双立人英国网上商店:德国刀具锅具厨具品牌
2018/05/15 全球购物
文员个人的求职信范文
2013/09/26 职场文书
出生医学证明样本
2014/01/17 职场文书
经典婚礼主持开场白
2014/03/13 职场文书
工程材料采购方案
2014/05/18 职场文书
董事长秘书工作职责
2014/06/10 职场文书
中秋客户感谢信
2015/01/22 职场文书
高三教师工作总结2015
2015/07/21 职场文书
大学副班长竞选稿
2015/11/21 职场文书
幼儿园科学课教学反思
2016/03/03 职场文书
MySQL高级进阶sql语句总结大全
2022/03/16 MySQL