TensorFlow平台下Python实现神经网络


Posted in Python onMarch 10, 2018

本篇文章主要通过一个简单的例子来实现神经网络。训练数据是随机产生的模拟数据集,解决二分类问题。

下面我们首先说一下,训练神经网络的一般过程:

1.定义神经网络的结构和前向传播的输出结果

2.定义损失函数以及反向传播优化的算法

3.生成会话(Session)并且在训练数据上反复运行反向传播优化算法

要记住的一点是,无论神经网络的结构如何变化,以上三个步骤是不会改变的。

完整代码如下:

import tensorflow as tf 
#导入TensorFlow工具包并简称为tf 
 
from numpy.random import RandomState 
#导入numpy工具包,生成模拟数据集 
 
batch_size = 8 
#定义训练数据batch的大小 
 
w1 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1)) 
w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=1)) 
#分别定义一二层和二三层之间的网络参数,标准差为1,随机产生的数保持一致 
 
x = tf.placeholder(tf.float32,shape=(None,2),name='x-input') 
y_ = tf.placeholder(tf.float32,shape=(None,1),name='y-input') 
#输入为两个维度,即两个特征,输出为一个标签,声明数据类型float32,None即一个batch大小 
#y_是真实的标签 
 
a = tf.matmul(x,w1) 
y = tf.matmul(a,w2) 
#定义神经网络前向传播过程 
 
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y,1e-10,1.0))) 
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy) 
#定义损失函数和反向传播算法 
 
rdm = RandomState(1) 
dataset_size = 128 
#产生128组数据 
X = rdm.rand(dataset_size,2) 
Y = [[int(x1+x2 < 1)] for (x1,x2) in X] 
#将所有x1+x2<1的样本视为正样本,表示为1;其余为0 
 
#创建会话来运行TensorFlow程序 
with tf.Session() as sess: 
 init_op = tf.global_variables_initializer() 
 #初始化变量 
 sess.run(init_op) 
 
 print(sess.run(w1)) 
 print(sess.run(w2)) 
 #打印出训练网络之前网络参数的值 
 
 STEPS = 5000 
 #设置训练的轮数 
 for i in range(STEPS): 
  start = (i * batch_size) % dataset_size 
  end = min(start+batch_size,dataset_size) 
 #每次选取batch_size个样本进行训练 
  
  sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]}) 
 #通过选取的样本训练神经网络并更新参数 
  
  if i%1000 == 0: 
   total_cross_entropy = sess.run(cross_entropy,feed_dict={x:X,y_:Y}) 
   print("After %d training step(s),cross entropy on all data is %g" % (i,total_cross_entropy)) 
 #每隔一段时间计算在所有数据上的交叉熵并输出,随着训练的进行,交叉熵逐渐变小 
 
 print(sess.run(w1)) 
 print(sess.run(w2)) 
 #打印出训练之后神经网络参数的值

运行结果如下:

TensorFlow平台下Python实现神经网络

结果说明:

首先是打印出训练之前的网络参数,也就是随机产生的参数值,然后将训练过程中每隔1000次的交叉熵输出,发现交叉熵在逐渐减小,说明分类的性能在变好。最后是训练网络结束后网络的参数。

分享一个图形化神经网络训练过程的网站:点这里,可以自己定义网络参数的大小,层数以及学习速率的大小,并且训练过程会以很直观的形式展示出来。比如:

TensorFlow平台下Python实现神经网络

 TensorFlow平台下Python实现神经网络

以上对于神经网络训练过程可以有一个很深刻的理解。

最后,再补充一些TensorFlow相关的知识:

1.TensorFlow计算模型-计算图

       Tensor表示张量,可以简单的理解为多维数据结构;Flow则体现了它的计算模型。Flow翻译过来是“流”,它直观地表达了张量之间通过计算相互转换的过程。TensorFlow中的每一个计算都是计算图上的一个节点,而节点之间的边描述了计算之间的依赖关系。

指定GPU方法,命令如下:

import tensorflow as tf
a = tf.constant([1.0,2.0],name=“a”)
b = tf.constant([3.0,4.0],name=“b”)
g = tf.Graph()
with g.device(/gpu:0):
result = a + b
sess = tf.Session()
sess.run(result)

2.TensorFlow数据模型-张量

      张量是管理数据的形式。零阶张量表示标量,第一阶张量为向量,也就是一维数组,一般来说,第n阶张量可以理解为一个n维数组。张量本身不存储运算的结果,它只是得到对结果的一个引用。可以使用tf.Session().run(result)语句来得到计算结果。

3.TensorFlow运行模型-会话

我们使用session来执行定义好的运算。

主要有以下两种方式,第一种会产生内存泄漏,第二种不会有这种问题。

#创建一个会话
sess = tf.Session()
sess.run(…)
#关闭会话使得本次运行中使用的资源得到释放
sess.close()

第二种方式是通过Python的上下文资源管理器来使用会话。

with tf.Session() as sess:
sess.run(…)

此种方式自动关闭和自动进行资源的释放

4.TensorFlow-神经网络例子

使用神经网络解决分类问题可以分为以下四个步骤:
①提取问题中实体的特征向量作为输入。
②定义神经网络的结构,并定义如何从神经网络的输入得到输出。这个过程就是神经网络的前向传播算法。
③通过训练数据来调整神经网络中参数的设置,这就是训练网络的过程。
④使用训练好的神经网络来预测未知的数据  

在TensorFlow中声明一个2*3的矩阵变量的方法:

weight = tf.Variable(tf.random_normal([2,3],stddev=2))

 即表示为方差为0、标准差为2的正态分布

在TensorFlow中,一个变量的值在被使用之前,这个变量的初始化过程需要被明确调用。一下子初始化所有的变量

sess = tf.Session()
init_op = tf.initialize_all_variables()

或者换成init_op = tf.global_variables_initializer()也可

sess.run(init_op)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python发送email的3种方法
Apr 28 Python
Python中List.index()方法的使用教程
May 20 Python
Python中列表和元组的使用方法和区别详解
Dec 30 Python
Python类的继承和多态代码详解
Dec 27 Python
python实现手机通讯录搜索功能
Feb 22 Python
python opencv设置摄像头分辨率以及各个参数的方法
Apr 02 Python
python读文件保存到字典,修改字典并写入新文件的实例
Apr 23 Python
Python 实现字符串中指定位置插入一个字符
May 02 Python
Python把csv数据写入list和字典类型的变量脚本方法
Jun 15 Python
python绘图模块matplotlib示例详解
Jul 26 Python
python双向链表原理与实现方法详解
Dec 03 Python
OpenCV python sklearn随机超参数搜索的实现
Jan 17 Python
python构建深度神经网络(续)
Mar 10 #Python
python构建深度神经网络(DNN)
Mar 10 #Python
Python使用numpy实现BP神经网络
Mar 10 #Python
python实现日常记账本小程序
Mar 10 #Python
python实现简单神经网络算法
Mar 10 #Python
TensorFlow saver指定变量的存取
Mar 10 #Python
TensorFLow用Saver保存和恢复变量
Mar 10 #Python
You might like
PHP基础学习小结
2011/04/17 PHP
关于PHP中Object对象的笔记分享
2011/06/28 PHP
php操作mysql数据库的基本类代码
2014/02/25 PHP
php图片的二进制转换实现方法
2014/12/15 PHP
初识通用数据库操作类――前端easyui-datagrid,form(php)
2015/07/31 PHP
php计算给定日期所在周的开始日期和结束日期示例
2017/02/06 PHP
Laravel框架实现model层的增删改查(CURD)操作示例
2018/05/12 PHP
20款非常优秀的 jQuery 工具提示插件 推荐
2012/07/15 Javascript
了解一点js的Eval函数
2012/07/26 Javascript
javascript setTimeout和setInterval计时的区别详解
2013/06/21 Javascript
JS使用for循环遍历Table的所有单元格内容
2014/08/21 Javascript
node.js中使用q.js实现api的promise化
2014/09/17 Javascript
点击按钮出现60秒倒计时的简单js代码(推荐)
2016/06/07 Javascript
JavaScript中关于iframe滚动条的去除和保留
2016/11/17 Javascript
jQuery+Ajax请求本地数据加载商品列表页并跳转详情页的实现方法
2017/07/12 jQuery
基于require.js的使用(实例讲解)
2017/09/07 Javascript
vue select二级联动第二级默认选中第一个option值的实例
2018/01/10 Javascript
解决vue 中 echart 在子组件中只显示一次的问题
2018/08/07 Javascript
Vue.js实现的购物车功能详解
2019/01/27 Javascript
vue+echarts实现可拖动节点的折线图(支持拖动方向和上下限的设置)
2019/04/12 Javascript
详解ng-alain动态表单SF表单项设置必填和正则校验
2019/06/11 Javascript
如何利用vue实现波谱拟合详解
2020/11/05 Javascript
vue项目中使用rem,在入口文件添加内容操作
2020/11/11 Javascript
JavaScript中展开运算符及应用的实例代码
2021/01/14 Javascript
Python产生Gnuplot绘图数据的方法
2018/11/09 Python
Python传递参数的多种方式(小结)
2019/09/18 Python
Django REST Framework 分页(Pagination)详解
2020/11/30 Python
美国在线乐器和设备商店:Musician’s Friend
2018/07/06 全球购物
班主任与学生安全责任书
2014/07/25 职场文书
三八妇女节超市活动方案
2014/08/18 职场文书
道路交通事故赔偿协议书
2014/10/24 职场文书
企业开业庆典答谢词
2015/01/20 职场文书
行政后勤人员工作计划应该怎么写?
2019/08/16 职场文书
MySQL的安装与配置详细教程
2021/06/26 MySQL
Javascript 解构赋值详情
2021/11/17 Javascript
Redis基本数据类型哈希Hash常用操作命令
2022/06/01 Redis