python构建深度神经网络(DNN)


Posted in Python onMarch 10, 2018

本文学习Neural Networks and Deep Learning 在线免费书籍,用python构建神经网络识别手写体的一个总结。

代码主要包括两三部分:

1)、数据调用和预处理

2)、神经网络类构建和方法建立

3)、代码测试文件

1)数据调用:

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 
# @Time  : 2017-03-12 15:11 
# @Author : CC 
# @File  : net_load_data.py 
# @Software: PyCharm Community Edition 
 
from numpy import * 
import numpy as np 
import cPickle 
def load_data(): 
  """载入解压后的数据,并读取""" 
  with open('data/mnist_pkl/mnist.pkl','rb') as f: 
    try: 
      train_data,validation_data,test_data = cPickle.load(f) 
      print " the file open sucessfully" 
      # print train_data[0].shape #(50000,784) 
      # print train_data[1].shape  #(50000,) 
      return (train_data,validation_data,test_data) 
    except EOFError: 
      print 'the file open error' 
      return None 
 
def data_transform(): 
  """将数据转化为计算格式""" 
  t_d,va_d,te_d = load_data() 
  # print t_d[0].shape # (50000,784) 
  # print te_d[0].shape # (10000,784) 
  # print va_d[0].shape # (10000,784) 
  # n1 = [np.reshape(x,784,1) for x in t_d[0]] # 将5万个数据分别逐个取出化成(784,1),逐个排列 
  n = [np.reshape(x, (784, 1)) for x in t_d[0]] # 将5万个数据分别逐个取出化成(784,1),逐个排列 
  # print 'n1',n1[0].shape 
  # print 'n',n[0].shape 
  m = [vectors(y) for y in t_d[1]] # 将5万标签(50000,1)化为(10,50000) 
  train_data = zip(n,m) # 将数据与标签打包成元组形式 
  n = [np.reshape(x, (784, 1)) for x in va_d[0]] # 将5万个数据分别逐个取出化成(784,1),排列 
  validation_data = zip(n,va_d[1])  # 没有将标签数据矢量化 
  n = [np.reshape(x, (784, 1)) for x in te_d[0]] # 将5万个数据分别逐个取出化成(784,1),排列 
  test_data = zip(n, te_d[1]) # 没有将标签数据矢量化 
  # print train_data[0][0].shape #(784,) 
  # print "len(train_data[0])",len(train_data[0]) #2 
  # print "len(train_data[100])",len(train_data[100]) #2 
  # print "len(train_data[0][0])", len(train_data[0][0]) #784 
  # print "train_data[0][0].shape", train_data[0][0].shape #(784,1) 
  # print "len(train_data)", len(train_data) #50000 
  # print train_data[0][1].shape #(10,1) 
  # print test_data[0][1] # 7 
  return (train_data,validation_data,test_data) 
def vectors(y): 
  """赋予标签""" 
  label = np.zeros((10,1)) 
  label[y] = 1.0 #浮点计算 
  return label

2)网络构建

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 
# @Time  : 2017-03-12 16:07 
# @Author : CC 
# @File  : net_network.py 
 
import numpy as np 
import random 
class Network(object):  #默认为基类?用于继承:print isinstance(network,object) 
  def __init__(self,sizes): 
    self.num_layers = len(sizes) 
    self.sizes = sizes 
    # print 'num_layers', self.num_layers 
    self.weight = [np.random.randn(a1, a2) for (a1, a2) in zip(sizes[1:], sizes[:-1])] #产生一个个数组 
    self.bias = [np.random.randn(a3,1) for a3 in sizes[1:]] 
    # print self.weight[0].shape #(20,10) 
 
  def SGD(self,train_data,min_batch_size,epoches,eta,test_data=False): 
    """ 1) 打乱样本,将训练数据划分成小批次 
      2)计算出反向传播梯度 
      3) 获得权重更新""" 
    if test_data: n_test = len(test_data) 
    n = len(train_data)  #50000 
    random.shuffle(train_data) # 打乱 
    min_batches = [train_data[k:k+min_batch_size] for k in xrange(0,n,min_batch_size)] #提取批次数据 
    for k in xrange(0,epoches):  #利用更新后的权值继续更新 
      random.shuffle(train_data) # 打乱 
      for min_batch in min_batches: #逐个传入,效率很低 
        self.updata_parameter(min_batch,eta) 
      if test_data: 
        num = self.evaluate(test_data) 
        print "the {0}th epoches: {1}/{2}".format(k,num,len(test_data)) 
      else: 
        print 'epoches {0} completed'.format(k) 
 
  def forward(self,x): 
    """获得各层激活值""" 
    for w,b in zip(self.weight,self.bias): 
      x = sigmoid(np.dot(w, x)+b) 
    return x 
 
  def updata_parameter(self,min_batch,eta): 
    """1) 反向传播计算每个样本梯度值 
      2) 累加每个批次样本的梯度值 
      3) 权值更新""" 
    ndeltab = [np.zeros(b.shape) for b in self.bias] 
    ndeltaw = [np.zeros(w.shape) for w in self.weight] 
    for x,y in min_batch: 
      deltab,deltaw = self.backprop(x,y) 
      ndeltab = [nb +db for nb,db in zip(ndeltab,deltab)] 
      ndeltaw = [nw + dw for nw,dw in zip(ndeltaw,deltaw)] 
    self.bias = [b - eta * ndb/len(min_batch) for ndb,b in zip(ndeltab,self.bias)] 
    self.weight = [w - eta * ndw/len(min_batch) for ndw,w in zip(ndeltaw,self.weight)] 
 
 
  def backprop(self,x,y): 
    """执行前向计算,再进行反向传播,返回deltaw,deltab""" 
    # [w for w in self.weight] 
    # print 'len',len(w) 
    # print "self.weight",self.weight[0].shape 
    # print w[0].shape 
    # print w[1].shape 
    # print w.shape 
    activation = x 
    activations = [x] 
    zs = [] 
    # feedforward 
    for w, b in zip(self.weight, self.bias): 
      # print w.shape,activation.shape,b.shape 
      z = np.dot(w, activation) +b 
      zs.append(z)  #用于计算f(z)导数 
      activation = sigmoid(z) 
      # print 'activation',activation.shape 
      activations.append(activation) # 每层的输出结果 
    delta = self.top_subtract(activations[-1],y) * dsigmoid(zs[-1]) #最后一层的delta,np.array乘,相同维度乘 
    deltaw = [np.zeros(w1.shape) for w1 in self.weight] #每一次将获得的值作为列表形式赋给deltaw 
    deltab = [np.zeros(b1.shape) for b1 in self.bias] 
    # print 'deltab[0]',deltab[-1].shape 
    deltab[-1] = delta 
    deltaw[-1] = np.dot(delta,activations[-2].transpose()) 
    for k in xrange(2,self.num_layers): 
      delta = np.dot(self.weight[-k+1].transpose(),delta) * dsigmoid(zs[-k]) 
      deltab[-k] = delta 
      deltaw[-k] = np.dot(delta,activations[-k-1].transpose()) 
    return (deltab,deltaw) 
 
  def evaluate(self,test_data): 
    """评估验证集和测试集的精度,标签直接一个数作为比较""" 
    z = [(np.argmax(self.forward(x)),y) for x,y in test_data] 
    zs = np.sum(int(a == b) for a,b in z) 
    # zk = sum(int(a == b) for a,b in z) 
    # print "zs/zk:",zs,zk 
    return zs 
 
  def top_subtract(self,x,y): 
    return (x - y) 
 
def sigmoid(x): 
  return 1.0/(1.0+np.exp(-x)) 
 
def dsigmoid(x): 
  z = sigmoid(x) 
  return z*(1-z)

3)网络测试

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 
# @Time  : 2017-03-12 15:24 
# @Author : CC 
# @File  : net_test.py 
 
import net_load_data 
# net_load_data.load_data() 
train_data,validation_data,test_data = net_load_data.data_transform() 
 
import net_network as net 
net1 = net.Network([784,30,10]) 
min_batch_size = 10 
eta = 3.0 
epoches = 30 
net1.SGD(train_data,min_batch_size,epoches,eta,test_data) 
print "complete"

4)结果

the 9th epoches: 9405/10000 
the 10th epoches: 9420/10000 
the 11th epoches: 9385/10000 
the 12th epoches: 9404/10000 
the 13th epoches: 9398/10000 
the 14th epoches: 9406/10000 
the 15th epoches: 9396/10000 
the 16th epoches: 9413/10000 
the 17th epoches: 9405/10000 
the 18th epoches: 9425/10000 
the 19th epoches: 9420/10000

总体来说这本书的实例,用来熟悉python和神经网络非常好。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中字符串前面加r的作用
Jun 04 Python
Python实现截屏的函数
Jul 25 Python
Python中文竖排显示的方法
Jul 28 Python
Python使用内置json模块解析json格式数据的方法
Jul 20 Python
python中通过预先编译正则表达式提高效率
Sep 25 Python
浅谈python装饰器探究与参数的领取
Dec 01 Python
Python3中关于cookie的创建与保存
Oct 21 Python
Python利用itchat库向好友或者公众号发消息的实例
Feb 21 Python
Python Django 添加首页尾页上一页下一页代码实例
Aug 21 Python
Python 日期的转换及计算的具体使用详解
Jan 16 Python
Python下利用BeautifulSoup解析HTML的实现
Jan 17 Python
python3 使用ssh隧道连接mysql的操作
Dec 05 Python
Python使用numpy实现BP神经网络
Mar 10 #Python
python实现日常记账本小程序
Mar 10 #Python
python实现简单神经网络算法
Mar 10 #Python
TensorFlow saver指定变量的存取
Mar 10 #Python
TensorFLow用Saver保存和恢复变量
Mar 10 #Python
tensorflow创建变量以及根据名称查找变量
Mar 10 #Python
Python2中文处理纪要的实现方法
Mar 10 #Python
You might like
社区(php&&mysql)二
2006/10/09 PHP
PHP模拟QQ登录的方法
2015/07/29 PHP
PHP使用逆波兰式计算工资的方法
2015/07/29 PHP
php unicode编码和字符串互转的方法
2020/08/12 PHP
基于Codeigniter框架实现的student信息系统站点动态发布功能详解
2017/03/23 PHP
PHP使用GD库制作验证码的方法(点击验证码或看不清会刷新验证码)
2017/08/15 PHP
PHP迭代器接口Iterator用法分析
2017/12/28 PHP
php使用json-schema模块实现json校验示例
2019/09/28 PHP
jQuery实现可收缩展开的级联菜单实例代码
2013/11/27 Javascript
jQuery实现横向带缓冲的水平运动效果(附demo源码下载)
2016/01/29 Javascript
JS控制静态页面之间传递参数获取参数并应用的简单实例
2016/08/10 Javascript
node.js 和HTML5开发本地桌面应用程序
2016/12/13 Javascript
使用Vue-Router 2实现路由功能实例详解
2017/11/14 Javascript
vue中各选项及钩子函数执行顺序详解
2018/08/25 Javascript
jQuery实现判断滚动条滚动到document底部的方法分析
2019/08/27 jQuery
原生JavaScript实现刮刮乐
2020/09/29 Javascript
Javascript中的奇葩知识,你知道吗?
2021/01/25 Javascript
[02:27]2018DOTA2亚洲邀请赛赛前采访-OpTic
2018/04/03 DOTA
Python numpy 常用函数总结
2017/12/07 Python
python按行读取文件,去掉每行的换行符\n的实例
2018/04/19 Python
python实现逐个读取txt字符并修改
2018/12/24 Python
python+logging+yaml实现日志分割
2019/07/22 Python
Django通过dwebsocket实现websocket的例子
2019/11/15 Python
Python通过VGG16模型实现图像风格转换操作详解
2020/01/16 Python
纯css3制作的火影忍者写轮眼开眼至轮回眼及进化过程实例
2014/11/11 HTML / CSS
阿玛尼美国官方网站:Armani.com
2016/11/25 全球购物
分公司经理岗位职责
2013/11/11 职场文书
机关单位动员会主持词
2014/03/20 职场文书
计算机网络专业自荐书
2014/06/09 职场文书
师范生求职自荐信
2014/06/14 职场文书
教师一帮一活动总结
2014/07/08 职场文书
收款委托书范本
2014/09/11 职场文书
2014年政风行风自查自纠报告
2014/10/21 职场文书
超级实用的公文标题大全!
2019/07/19 职场文书
Python+Appium实现自动抢微信红包
2021/05/21 Python
Python爬取用户观影数据并分析用户与电影之间的隐藏信息!
2021/06/29 Python