Tensorflow实现卷积神经网络的详细代码


Posted in Python onMay 24, 2018

本文实例为大家分享了Tensorflow实现卷积神经网络的具体代码,供大家参考,具体内容如下

1.概述

定义:

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。它包括卷积层(alternating convolutional layer)和池层(pooling layer)。

卷积层(convolutional layer):

对输入数据应用若干过滤器,一个输入参数被用来做很多类型的提取。

池化层(Pooling Layer):

也叫子采样层,缩减数据的规模

2. 代码实现

首先要导入mnist数据,下载地址

训练数据:60000*784,训练标签:60000*10
测试数据:10000*784,测试标签:10000*10

#导入mnist数据
import input_data
mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)
# start tensorflow interactiveSession
import tensorflow as tf
sess = tf.InteractiveSession()

# weight initialization
#初始化时加入轻微噪声,来打破对称性,防止零梯度问题
#权重初始化
def weight_variable(shape):
 #截断正态分布
 initial = tf.truncated_normal(shape, stddev=0.1)
 return tf.Variable(initial)

#偏置初始化
def bias_variable(shape):
 initial = tf.constant(0.1, shape = shape)
 return tf.Variable(initial)

# convolution卷积
#卷积使用1步长(stride size),0边距(padding size)的模板,
#padding='SAME'说明在
#保证输出和输入是同一个大小
def conv2d(x, W):
 return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
# pooling池化
#把特征图像区域的一部分求个均值或者最大值,用来代表这部分区域。
#如果是求均值就是mean pooling,求最大值就是max pooling。
#池化用简单传统的2x2大小的模板做max pooling
def max_pool_2x2(x):
 return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')


# 输入任意数量的图像,每一张图平铺成784维向量
x = tf.placeholder("float", [None, 784])
# target为10维标签向量
y_ = tf.placeholder("float", [None, 10])
# 权重是784*10,偏置值是[10]
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
# y=x*W+b
y = tf.nn.softmax(tf.matmul(x,W) + b)

# 第一个卷积层
# 权重是一个 [5, 5, 1, 32] 的张量,前两个维度是patch的大小,
# 接着是输入的通道数目,最后是输出的通道数目。
# 输出对应一个同样大小的偏置向量。
w_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
# 为了用这一层,我们把 x 变成一个4d向量,
# 第2、3维对应图片的宽高,最后一维代表颜色通道。
x_image = tf.reshape(x, [-1, 28, 28, 1])
'''
x_image 和权值向量进行卷积相乘,加上偏置,
使用ReLU激活函数,最后max pooling
'''
#h_conv1由于步长是1,输出单张图片大小不变是[28,28]
h_conv1 = tf.nn.relu(conv2d(x_image, w_conv1) + b_conv1)
#h_pool1由于步长是2,输出单张图片大小减半[14,14]
h_pool1 = max_pool_2x2(h_conv1)

# 第二个卷积层
'''
为了构建一个更深的网络,我们会把几个类似的层堆叠起来。
第二层中,每个5x5的patch会得到64个特征。
'''
w_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])

#h_conv2由于步长是1,输出单张图片大小不变是[14,14]
h_conv2 = tf.nn.relu(conv2d(h_pool1, w_conv2) + b_conv2)
#h_pool2由于步长是2,输出单张图片大小减半[7,7]
h_pool2 = max_pool_2x2(h_conv2)

# densely connected layer密集连接层
'''
现在,图片降维到7x7,我们加入一个有1024个神经元的全连接层,
用于处理整个图片。我们把池化层输出的张量reshape成一些向量,
乘上权重矩阵,加上偏置,使用ReLU激活。
'''
w_fc1 = weight_variable([7*7*64, 1024])
b_fc1 = bias_variable([1024])

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, w_fc1) + b_fc1)

# dropout
'''
为了减少过拟合,我们在输出层之前加入dropout。我们用一个 placeholder 来代表一个神经元在dropout中被保留的概率。
这样我们可以在训练过程中启用dropout,在测试过程中关闭dropout。 
TensorFlow的 操作会自动处理神经元输出值的scale。
所以用dropout的时候可以不用考虑scale。
'''
keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

# readout layer
#添加一个softmax层,就像前面的单层softmax regression一样
w_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])

y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, w_fc2) + b_fc2)
'''
我们会用更加复杂的ADAM优化器来做梯度最速下降,
在 feed_dict 中加入额外的参数keep_prob来控制dropout比例。
然后每100次迭代输出一次日志。
'''
# train and evaluate the model训练和评价模型
#计算交叉熵
cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))
#梯度下降求最小交叉熵
train_step = tf.train.GradientDescentOptimizer(1e-3).minimize(cross_entropy)
#train_step = tf.train.AdagradOptimizer(1e-5).minimize(cross_entropy)
#检测我们的预测是否真实标签匹配
correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))
#把布尔值转换成浮点数,然后取平均值
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
#初始化变量
sess.run(tf.initialize_all_variables())
for i in range(20000):
 #随机抓取训练数据中的50个批处理数据点,然后我们用这些数据点作为参数替换 之前的占位符来运行train_step
 batch = mnist.train.next_batch(50)
 #每100次打印下
 if i%100 == 0:
  train_accuracy = accuracy.eval(feed_dict={x:batch[0], y_:batch[1], keep_prob:1.0})
  print "step %d, train accuracy %g" %(i, train_accuracy)
 train_step.run(feed_dict={x:batch[0], y_:batch[1], keep_prob:0.5})

print "test accuracy %g" % accuracy.eval(feed_dict={x:mnist.test.images, y_:mnist.test.labels, keep_prob:1.0})

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详解Python中列表和元祖的使用方法
Apr 25 Python
python获得linux下所有挂载点(mount points)的方法
Apr 29 Python
关于pip的安装,更新,卸载模块以及使用方法(详解)
May 19 Python
python使用mysql的两种使用方式
Mar 07 Python
Python3对称加密算法AES、DES3实例详解
Dec 06 Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 Python
Python 异常处理Ⅳ过程图解
Oct 18 Python
Python动态导入模块:__import__、importlib、动态导入的使用场景实例分析
Mar 30 Python
解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题
Jul 02 Python
一文带你了解Python 四种常见基础爬虫方法介绍
Dec 04 Python
python 爬取小说并下载的示例
Dec 07 Python
Python List remove()实例用法详解
Aug 02 Python
Tensorflow实现AlexNet卷积神经网络及运算时间评测
May 24 #Python
Tensorflow卷积神经网络实例进阶
May 24 #Python
Tensorflow卷积神经网络实例
May 24 #Python
使用pandas的DataFrame的plot方法绘制图像的实例
May 24 #Python
TensorFlow实现卷积神经网络
May 24 #Python
tensorflow实现简单的卷积神经网络
May 24 #Python
tensorflow实现简单的卷积网络
May 24 #Python
You might like
PHP 魔术函数使用说明
2010/05/14 PHP
PHP常用技巧汇总
2016/03/04 PHP
PHP编程获取音频文件时长的方法【基于getid3类】
2017/04/20 PHP
php实现推荐功能的简单实例
2019/09/29 PHP
PHP的new static和new self的区别与使用
2019/11/27 PHP
laravel 框架结合关联查询 when()用法分析
2019/11/22 PHP
js静态作用域的功能。
2006/12/25 Javascript
jquery、js操作checkbox全选反选
2014/03/12 Javascript
JavaScript中的方法重载实例
2015/03/16 Javascript
基于javascript实现句子翻牌网页版小游戏
2016/03/23 Javascript
node.js 动态执行脚本
2016/06/02 Javascript
ionic 上拉菜单(ActionSheet)实例代码
2016/06/06 Javascript
easyui简介_动力节点Java学院整理
2017/07/14 Javascript
详解vue axios中文文档
2017/09/12 Javascript
详细分析JS函数去抖和节流
2017/12/05 Javascript
基于JavaScript实现幸运抽奖页面
2020/07/05 Javascript
Angular2之二级路由详解
2018/08/31 Javascript
jQuery中each遍历的三种方法实例分析
2018/09/07 jQuery
layui按条件隐藏表格列的实例
2019/09/19 Javascript
通过vue刷新左侧菜单栏操作
2020/08/06 Javascript
[01:13:51]TNC vs Serenity 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/19 DOTA
Python栈类实例分析
2015/06/15 Python
django数据库migrate失败的解决方法解析
2018/02/08 Python
python实现京东订单推送到测试环境,提供便利操作示例
2019/08/09 Python
python 实现矩阵填充0的例子
2019/11/29 Python
python isinstance函数用法详解
2020/02/13 Python
Python的PIL库中getpixel方法的使用
2020/04/09 Python
trivago美国:全球最大的酒店价格比较网站
2018/01/18 全球购物
软件测试企业面试试卷
2016/07/13 面试题
干部培训自我鉴定
2014/01/22 职场文书
酒店端午节活动方案
2014/08/26 职场文书
高中生第一学年自我鉴定
2014/09/12 职场文书
单位实习鉴定评语
2015/01/04 职场文书
公司总经理岗位职责
2015/04/01 职场文书
高中语文教材(文学文化常识大全一)
2019/08/13 职场文书
Python中rapidjson参数校验实现
2021/07/25 Python