Tensorflow实现卷积神经网络的详细代码


Posted in Python onMay 24, 2018

本文实例为大家分享了Tensorflow实现卷积神经网络的具体代码,供大家参考,具体内容如下

1.概述

定义:

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。它包括卷积层(alternating convolutional layer)和池层(pooling layer)。

卷积层(convolutional layer):

对输入数据应用若干过滤器,一个输入参数被用来做很多类型的提取。

池化层(Pooling Layer):

也叫子采样层,缩减数据的规模

2. 代码实现

首先要导入mnist数据,下载地址

训练数据:60000*784,训练标签:60000*10
测试数据:10000*784,测试标签:10000*10

#导入mnist数据
import input_data
mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)
# start tensorflow interactiveSession
import tensorflow as tf
sess = tf.InteractiveSession()

# weight initialization
#初始化时加入轻微噪声,来打破对称性,防止零梯度问题
#权重初始化
def weight_variable(shape):
 #截断正态分布
 initial = tf.truncated_normal(shape, stddev=0.1)
 return tf.Variable(initial)

#偏置初始化
def bias_variable(shape):
 initial = tf.constant(0.1, shape = shape)
 return tf.Variable(initial)

# convolution卷积
#卷积使用1步长(stride size),0边距(padding size)的模板,
#padding='SAME'说明在
#保证输出和输入是同一个大小
def conv2d(x, W):
 return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
# pooling池化
#把特征图像区域的一部分求个均值或者最大值,用来代表这部分区域。
#如果是求均值就是mean pooling,求最大值就是max pooling。
#池化用简单传统的2x2大小的模板做max pooling
def max_pool_2x2(x):
 return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')


# 输入任意数量的图像,每一张图平铺成784维向量
x = tf.placeholder("float", [None, 784])
# target为10维标签向量
y_ = tf.placeholder("float", [None, 10])
# 权重是784*10,偏置值是[10]
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
# y=x*W+b
y = tf.nn.softmax(tf.matmul(x,W) + b)

# 第一个卷积层
# 权重是一个 [5, 5, 1, 32] 的张量,前两个维度是patch的大小,
# 接着是输入的通道数目,最后是输出的通道数目。
# 输出对应一个同样大小的偏置向量。
w_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
# 为了用这一层,我们把 x 变成一个4d向量,
# 第2、3维对应图片的宽高,最后一维代表颜色通道。
x_image = tf.reshape(x, [-1, 28, 28, 1])
'''
x_image 和权值向量进行卷积相乘,加上偏置,
使用ReLU激活函数,最后max pooling
'''
#h_conv1由于步长是1,输出单张图片大小不变是[28,28]
h_conv1 = tf.nn.relu(conv2d(x_image, w_conv1) + b_conv1)
#h_pool1由于步长是2,输出单张图片大小减半[14,14]
h_pool1 = max_pool_2x2(h_conv1)

# 第二个卷积层
'''
为了构建一个更深的网络,我们会把几个类似的层堆叠起来。
第二层中,每个5x5的patch会得到64个特征。
'''
w_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])

#h_conv2由于步长是1,输出单张图片大小不变是[14,14]
h_conv2 = tf.nn.relu(conv2d(h_pool1, w_conv2) + b_conv2)
#h_pool2由于步长是2,输出单张图片大小减半[7,7]
h_pool2 = max_pool_2x2(h_conv2)

# densely connected layer密集连接层
'''
现在,图片降维到7x7,我们加入一个有1024个神经元的全连接层,
用于处理整个图片。我们把池化层输出的张量reshape成一些向量,
乘上权重矩阵,加上偏置,使用ReLU激活。
'''
w_fc1 = weight_variable([7*7*64, 1024])
b_fc1 = bias_variable([1024])

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, w_fc1) + b_fc1)

# dropout
'''
为了减少过拟合,我们在输出层之前加入dropout。我们用一个 placeholder 来代表一个神经元在dropout中被保留的概率。
这样我们可以在训练过程中启用dropout,在测试过程中关闭dropout。 
TensorFlow的 操作会自动处理神经元输出值的scale。
所以用dropout的时候可以不用考虑scale。
'''
keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

# readout layer
#添加一个softmax层,就像前面的单层softmax regression一样
w_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])

y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, w_fc2) + b_fc2)
'''
我们会用更加复杂的ADAM优化器来做梯度最速下降,
在 feed_dict 中加入额外的参数keep_prob来控制dropout比例。
然后每100次迭代输出一次日志。
'''
# train and evaluate the model训练和评价模型
#计算交叉熵
cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))
#梯度下降求最小交叉熵
train_step = tf.train.GradientDescentOptimizer(1e-3).minimize(cross_entropy)
#train_step = tf.train.AdagradOptimizer(1e-5).minimize(cross_entropy)
#检测我们的预测是否真实标签匹配
correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))
#把布尔值转换成浮点数,然后取平均值
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
#初始化变量
sess.run(tf.initialize_all_variables())
for i in range(20000):
 #随机抓取训练数据中的50个批处理数据点,然后我们用这些数据点作为参数替换 之前的占位符来运行train_step
 batch = mnist.train.next_batch(50)
 #每100次打印下
 if i%100 == 0:
  train_accuracy = accuracy.eval(feed_dict={x:batch[0], y_:batch[1], keep_prob:1.0})
  print "step %d, train accuracy %g" %(i, train_accuracy)
 train_step.run(feed_dict={x:batch[0], y_:batch[1], keep_prob:0.5})

print "test accuracy %g" % accuracy.eval(feed_dict={x:mnist.test.images, y_:mnist.test.labels, keep_prob:1.0})

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python根据文件大小打log日志
Oct 09 Python
Python之re操作方法(详解)
Jun 14 Python
Python基于QRCode实现生成二维码的方法【下载,安装,调用等】
Jul 11 Python
Python中使用haystack实现django全文检索搜索引擎功能
Aug 26 Python
TensorFlow中权重的随机初始化的方法
Feb 11 Python
Python2中文处理纪要的实现方法
Mar 10 Python
python Celery定时任务的示例
Mar 13 Python
Python cookbook(数据结构与算法)筛选及提取序列中元素的方法
Mar 19 Python
Python实现去除列表中重复元素的方法小结【4种方法】
Apr 27 Python
对python以16进制打印字节数组的方法详解
Jan 24 Python
python如何获取apk的packagename和activity
Jan 10 Python
python画图常规设置方式
Mar 05 Python
Tensorflow实现AlexNet卷积神经网络及运算时间评测
May 24 #Python
Tensorflow卷积神经网络实例进阶
May 24 #Python
Tensorflow卷积神经网络实例
May 24 #Python
使用pandas的DataFrame的plot方法绘制图像的实例
May 24 #Python
TensorFlow实现卷积神经网络
May 24 #Python
tensorflow实现简单的卷积神经网络
May 24 #Python
tensorflow实现简单的卷积网络
May 24 #Python
You might like
DC宇宙的第一个英雄,堪称动漫史鼻祖,如今成为美国文化的象征
2020/04/09 欧美动漫
PHP使用imagick读取PDF生成png缩略图的两种方法
2014/03/20 PHP
Codeigniter实现处理用户登录验证后的URL跳转
2014/06/12 PHP
PHP中读取照片exif信息的方法
2014/08/20 PHP
自己的js工具 Event封装
2009/08/21 Javascript
Jquery ThickBox插件使用心得(不建议使用)
2010/09/08 Javascript
js中function()使用方法
2013/12/24 Javascript
javascript生成不重复的随机数
2015/07/17 Javascript
10个JavaScript中易犯小错误
2016/02/14 Javascript
JS实现的手机端精简幻灯片效果
2016/09/05 Javascript
JavaScript中关键字 in 的使用方法详解
2016/10/17 Javascript
Angular1.x复杂指令实例详解
2017/03/01 Javascript
Bootstrap响应式导航由768px变成992px的实现代码
2017/06/15 Javascript
详解AngularJS ng-class样式切换
2017/06/27 Javascript
React路由管理之React Router总结
2018/05/10 Javascript
JS实现的简单分页功能示例
2018/08/23 Javascript
学前端,css与javascript重难点浅析
2020/06/11 Javascript
Python中的进程分支fork和exec详解
2015/04/11 Python
解决Pycharm界面的子窗口不见了的问题
2019/01/17 Python
python 类的继承 实例方法.静态方法.类方法的代码解析
2019/08/23 Python
pygame实现贪吃蛇游戏(下)
2019/10/29 Python
pycharm无法导入本地模块的解决方式
2020/02/12 Python
PyCharm中配置PySide2的图文教程
2020/06/18 Python
Rosetta Stone官方网站:语言学习
2019/01/05 全球购物
北京某公司的.net笔试题
2014/03/20 面试题
软件测试工程师结构化面试题库
2016/11/23 面试题
信息专业个人的自我评价
2013/12/27 职场文书
2014升学宴答谢词
2014/01/26 职场文书
计算机科学系职业生涯规划书
2014/03/08 职场文书
违章停车检讨书
2014/10/21 职场文书
买卖合同纠纷代理词
2015/05/25 职场文书
医务人员岗前培训心得体会
2016/01/08 职场文书
文书工作总结(范文)
2019/07/11 职场文书
Spring Cloud Gateway去掉url前缀
2021/07/15 Java/Android
微软Win11有哪些隐藏功能? windows11多个功能汇总
2021/11/21 数码科技
ant design vue的form表单取值方法
2022/06/01 Vue.js