tensorflow之并行读入数据详解


Posted in Python onFebruary 05, 2020

最近研究了一下并行读入数据的方式,现在将自己的理解整理如下,理解比较浅,仅供参考。

并行读入数据主要分

1. 创建文件名列表

2. 创建文件名队列

3. 创建Reader和Decoder

4. 创建样例列表

5. 创建批列表(读取时可要可不要,一般情况下样例列表可以执行读取数据操作,但是在实际训练的时候往往需要批列表来分批进行数据的组织,提取)

其具体流程如下:

tensorflow之并行读入数据详解

一、 文件名列表:

文件名列表是一个list类型的数据,里面的内容是需要用的数据文件名。可以使用常规的python语法入:[file1, file2]。也可以使用tf.train.match_filename_once方法通过匹配输入。

二、文件名队列

一般使用tf.train.string_input_producer的方法创建文件名队列。该方法传入的是一个文件名列表,输出的是一个先进先出队列。在该方法中存在两个重要参数,num_epochs和shuffle。num_epochs表示列表遍历的次数,主要是由于有时候训练模型需要反复的遍历数据集便于更新模型参数,默认情况下是None(循环遍历)。shuffle表示是否随机遍历,默认情况下是true,表示数据会随机输入队列,当想顺序读入数据时shuffle设置为false。至于其他的capacity表示列表的容量,shared_name表示共享时的名字。

三、Reader和Decoder

Reader的功能是读取数据记录,Decoder的功能是将数据的记录转化为张量格式。在使用时需要先创建输入数据文件对应的Reader,然后从文件名队列中取出文件名,在调用Reader.read的方法返回一个类似于(输入文件名,数据记录)的元组。最后使用Decoder方法将每一列数据都转化为张量的形式。

tensorflow之并行读入数据详解

四、批队列

批队列可以在构建图之前事先构建好,样例队列需要在图中直接产生不用直接预定义。所以先介绍批队列的构建方式。批队列主要是样例打包聚集成批数据,能供模型训练使用。一般是使用tf.train.shuffle_batch和tf.train.batch的方法构建。可以控制批的大小(一次性读入的 数据大小),线程个数,然后在图中直接调用。

tensorflow之并行读入数据详解

五、样例队列

样例队列的创建方式是隐式的,一般在图中为了计算任务顺利的输入数据,我们一般使用tf.train.start_queue_runners方法启动所有的入队操作所需的线程,此时会自动执行所有的文件名入队操作和文件名队列的操作,执行样例队列入队和样例队列的操作。这些都是在后台产生的。

六、线程协调器

并行读取数据离不开多线程操作,多线程操作离不开线程调节器。tensorflow使用tf.train.Coordinatior方法创建管理多线程生命周期的调节器。调节器的工作原理比较简单,它监控Tensoflow后台的所有线程,当某一个线程出现异常时,它的should_stop方法返回true,最后调用request_stop终止所有的线程。但是要注意我们在使用线程调节器之前一定要调用tf.local_variables_initializer方法进行初始化。

七、读入数据类型

tensorflow读入的数据类型可以使csv,TFRecord和自由格式文件。CSV的读取直接调用tf.TextLineReader构建Reader,再调用tf.decoder_csv的方法对文件进行解码变为张量。

TFRecoder是tensorflow标准的输入格式,它是通过protocolBuffer构建的存储数据记录的结构。该数据结构分明,一个样例中包含一组特征Features,一个Features又包含多个特征向量feature。其在读取的时候主要使用tf.TFRecoderReader的方法构建Reader,在使用read的方法读出元组。接着对元组中的value采用tf.parse_single_example()方法进行解析。再解析的时候需要传入features参数,该参数要和构造该文件时输入的字典型变量保持一致(key,value)。key和输入的key一致,value是一个表示该key对应的维度和类型的定西,用tf.FixedLenFeature函数构造,该函数传入参数表示特征形状和特征值的类型。具体如下:

tensorflow之并行读入数据详解

自由格式是指用户自定义的二进制文件,他存储的对象是字符串,每条记录都是一个固定长度的字节块。再读入的时候首先要使用tf.FixedLengthRecoderReader的方法读取对应的二进制文件,然后使用tf.decode_raw的方法将字符串转化为uint8类型的张量。

八、整体代码

具体的相关码如下:

tensorflow之并行读入数据详解

tensorflow之并行读入数据详解

以上这篇tensorflow之并行读入数据详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中optionParser模块的使用方法实例教程
Aug 29 Python
python实现自动登录人人网并访问最近来访者实例
Sep 26 Python
浅析Python中yield关键词的作用与用法
Nov 29 Python
python添加模块搜索路径和包的导入方法
Jan 19 Python
Python利用字典破解WIFI密码的方法
Feb 27 Python
Python中一个for循环循环多个变量的示例
Jul 16 Python
python-Web-flask-视图内容和模板知识点西宁街
Aug 23 Python
Python中 CSV格式清洗与转换的实例代码
Aug 29 Python
python多线程案例之多任务copy文件完整实例
Oct 29 Python
基于python实现对文件进行切分行
Apr 26 Python
Python xml、字典、json、类四种数据类型如何实现互相转换
May 27 Python
Selenium自动化测试工具使用方法汇总
Jun 12 Python
tensorflow mnist 数据加载实现并画图效果
Feb 05 #Python
tensorflow 自定义损失函数示例代码
Feb 05 #Python
利用Tensorflow的队列多线程读取数据方式
Feb 05 #Python
Tensorflow 多线程与多进程数据加载实例
Feb 05 #Python
TensorFlow自定义损失函数来预测商品销售量
Feb 05 #Python
解决Tensorflow 内存泄露问题
Feb 05 #Python
TensorFlow实现指数衰减学习率的方法
Feb 05 #Python
You might like
php的curl实现get和post的代码
2008/08/23 PHP
php 将bmp图片转为jpg等其他任意格式的图片
2009/06/29 PHP
深入分析PHP优化及注意事项
2016/07/04 PHP
PHP判断表达式中括号是否匹配的简单实例
2016/10/22 PHP
php常用字符串String函数实例总结【转换,替换,计算,截取,加密】
2016/12/07 PHP
php 使用 __call实现重载功能示例
2019/11/18 PHP
符合W3C网页标准的iframe标签的使用方法
2007/07/19 Javascript
从URL中提取参数与将对象转换为URL查询参数的实现代码
2012/01/12 Javascript
window.event.keyCode兼容IE和Firefox实现js代码
2013/05/30 Javascript
jquery text(),val(),html()方法区别总结
2013/11/04 Javascript
javascript实现网页字符定位的方法
2015/07/14 Javascript
深入理解JS中的Function.prototype.bind()方法
2016/10/11 Javascript
jquery封装插件时匿名函数形参和实参的写法解释
2017/02/14 Javascript
详解从NodeJS搭建中间层再谈前后端分离
2018/11/13 NodeJs
Bootstrap 实现表格样式、表单布局的实例代码
2018/12/09 Javascript
vue基础之事件v-onclick="函数"用法示例
2019/03/11 Javascript
微信小程序后端实现授权登录
2020/02/24 Javascript
vue 中的动态传参和query传参操作
2020/11/09 Javascript
Python开发实例分享bt种子爬虫程序和种子解析
2014/05/21 Python
Python中zip()函数用法实例教程
2014/07/31 Python
Python简单实现自动删除目录下空文件夹的方法
2017/08/29 Python
Python基于whois模块简单识别网站域名及所有者的方法
2018/04/23 Python
Python绘图Matplotlib之坐标轴及刻度总结
2019/06/28 Python
css3圆角边框和边框阴影示例
2014/05/05 HTML / CSS
SmartBuyGlasses德国:购买太阳镜和眼镜
2019/08/20 全球购物
什么是Linux虚拟文件系统VFS
2012/01/31 面试题
易程科技软件测试笔试
2013/03/24 面试题
市场营销专科应届生求职信
2013/11/24 职场文书
金融学专业大学生职业生涯规划
2014/03/07 职场文书
新闻编辑求职信
2014/04/09 职场文书
党校学习心得体会范文
2014/09/09 职场文书
乡镇群众路线教育实践活动整改措施
2014/10/04 职场文书
党员查摆剖析材料
2014/10/10 职场文书
学校政风行风评议工作总结
2014/10/21 职场文书
如何书写授权委托书?
2019/06/25 职场文书
辞职报告(范文三篇)
2019/08/27 职场文书