tensorflow之并行读入数据详解


Posted in Python onFebruary 05, 2020

最近研究了一下并行读入数据的方式,现在将自己的理解整理如下,理解比较浅,仅供参考。

并行读入数据主要分

1. 创建文件名列表

2. 创建文件名队列

3. 创建Reader和Decoder

4. 创建样例列表

5. 创建批列表(读取时可要可不要,一般情况下样例列表可以执行读取数据操作,但是在实际训练的时候往往需要批列表来分批进行数据的组织,提取)

其具体流程如下:

tensorflow之并行读入数据详解

一、 文件名列表:

文件名列表是一个list类型的数据,里面的内容是需要用的数据文件名。可以使用常规的python语法入:[file1, file2]。也可以使用tf.train.match_filename_once方法通过匹配输入。

二、文件名队列

一般使用tf.train.string_input_producer的方法创建文件名队列。该方法传入的是一个文件名列表,输出的是一个先进先出队列。在该方法中存在两个重要参数,num_epochs和shuffle。num_epochs表示列表遍历的次数,主要是由于有时候训练模型需要反复的遍历数据集便于更新模型参数,默认情况下是None(循环遍历)。shuffle表示是否随机遍历,默认情况下是true,表示数据会随机输入队列,当想顺序读入数据时shuffle设置为false。至于其他的capacity表示列表的容量,shared_name表示共享时的名字。

三、Reader和Decoder

Reader的功能是读取数据记录,Decoder的功能是将数据的记录转化为张量格式。在使用时需要先创建输入数据文件对应的Reader,然后从文件名队列中取出文件名,在调用Reader.read的方法返回一个类似于(输入文件名,数据记录)的元组。最后使用Decoder方法将每一列数据都转化为张量的形式。

tensorflow之并行读入数据详解

四、批队列

批队列可以在构建图之前事先构建好,样例队列需要在图中直接产生不用直接预定义。所以先介绍批队列的构建方式。批队列主要是样例打包聚集成批数据,能供模型训练使用。一般是使用tf.train.shuffle_batch和tf.train.batch的方法构建。可以控制批的大小(一次性读入的 数据大小),线程个数,然后在图中直接调用。

tensorflow之并行读入数据详解

五、样例队列

样例队列的创建方式是隐式的,一般在图中为了计算任务顺利的输入数据,我们一般使用tf.train.start_queue_runners方法启动所有的入队操作所需的线程,此时会自动执行所有的文件名入队操作和文件名队列的操作,执行样例队列入队和样例队列的操作。这些都是在后台产生的。

六、线程协调器

并行读取数据离不开多线程操作,多线程操作离不开线程调节器。tensorflow使用tf.train.Coordinatior方法创建管理多线程生命周期的调节器。调节器的工作原理比较简单,它监控Tensoflow后台的所有线程,当某一个线程出现异常时,它的should_stop方法返回true,最后调用request_stop终止所有的线程。但是要注意我们在使用线程调节器之前一定要调用tf.local_variables_initializer方法进行初始化。

七、读入数据类型

tensorflow读入的数据类型可以使csv,TFRecord和自由格式文件。CSV的读取直接调用tf.TextLineReader构建Reader,再调用tf.decoder_csv的方法对文件进行解码变为张量。

TFRecoder是tensorflow标准的输入格式,它是通过protocolBuffer构建的存储数据记录的结构。该数据结构分明,一个样例中包含一组特征Features,一个Features又包含多个特征向量feature。其在读取的时候主要使用tf.TFRecoderReader的方法构建Reader,在使用read的方法读出元组。接着对元组中的value采用tf.parse_single_example()方法进行解析。再解析的时候需要传入features参数,该参数要和构造该文件时输入的字典型变量保持一致(key,value)。key和输入的key一致,value是一个表示该key对应的维度和类型的定西,用tf.FixedLenFeature函数构造,该函数传入参数表示特征形状和特征值的类型。具体如下:

tensorflow之并行读入数据详解

自由格式是指用户自定义的二进制文件,他存储的对象是字符串,每条记录都是一个固定长度的字节块。再读入的时候首先要使用tf.FixedLengthRecoderReader的方法读取对应的二进制文件,然后使用tf.decode_raw的方法将字符串转化为uint8类型的张量。

八、整体代码

具体的相关码如下:

tensorflow之并行读入数据详解

tensorflow之并行读入数据详解

以上这篇tensorflow之并行读入数据详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现的防DDoS脚本
Feb 08 Python
Python+MongoDB自增键值的简单实现
Nov 04 Python
使用Python脚本和ADB命令实现卸载App
Feb 10 Python
python bmp转换为jpg 并删除原图的方法
Oct 25 Python
Python参数解析模块sys、getopt、argparse使用与对比分析
Apr 02 Python
win10环境下配置vscode python开发环境的教程详解
Oct 16 Python
python set集合使用方法解析
Nov 05 Python
使用python自动追踪你的快递(物流推送邮箱)
Mar 17 Python
Python classmethod装饰器原理及用法解析
Oct 17 Python
Python中使用aiohttp模拟服务器出现错误问题及解决方法
Oct 31 Python
如何一键升级Python所有包
Nov 05 Python
pandas按照列的值排序(某一列或者多列)
Dec 13 Python
tensorflow mnist 数据加载实现并画图效果
Feb 05 #Python
tensorflow 自定义损失函数示例代码
Feb 05 #Python
利用Tensorflow的队列多线程读取数据方式
Feb 05 #Python
Tensorflow 多线程与多进程数据加载实例
Feb 05 #Python
TensorFlow自定义损失函数来预测商品销售量
Feb 05 #Python
解决Tensorflow 内存泄露问题
Feb 05 #Python
TensorFlow实现指数衰减学习率的方法
Feb 05 #Python
You might like
php miniBB中文乱码问题解决方法
2008/11/25 PHP
php中实现进程锁与多进程的方法
2016/09/18 PHP
php实现的XML操作(读取)封装类完整实例
2017/02/23 PHP
PHP实现的堆排序算法详解
2017/08/17 PHP
jquery 指南/入门基础
2007/11/30 Javascript
javascript parseInt与Number函数的区别
2010/01/21 Javascript
JavaScript中的类继承
2010/11/25 Javascript
js 输出内容到新窗口具体实现代码
2013/05/31 Javascript
javascript实现简单的Map示例介绍
2013/12/23 Javascript
js格式化时间的方法
2015/12/18 Javascript
jQuery实现的鼠标经过时变宽的效果(附demo源码)
2016/04/28 Javascript
jQuery中on绑定事件后引发的事件冒泡问题如何解决
2016/05/25 Javascript
jQuery Mobile动态刷新页面样式的实现方法
2016/05/28 Javascript
webpack本地开发环境无法用IP访问的解决方法
2018/03/20 Javascript
vue.js过滤器+ajax实现事件监听及后台php数据交互实例
2018/05/22 Javascript
JS 正则表达式验证密码、邮箱格式的实例代码
2018/10/28 Javascript
es6中比较有用的7个技巧小结
2019/07/12 Javascript
微信小程序 拍照或从相册选取图片上传代码实例
2019/08/28 Javascript
vue element-ui读取pdf文件的方法
2019/11/26 Javascript
以一段代码为实例快速入门Python2.7
2015/03/31 Python
在Python中利用Pandas库处理大数据的简单介绍
2015/04/07 Python
Python 数据处理库 pandas 入门教程基本操作
2018/04/19 Python
python输出决策树图形的例子
2019/08/09 Python
pycharm修改file type方式
2019/11/19 Python
解决Keras 与 Tensorflow 版本之间的兼容性问题
2020/02/07 Python
浅析CSS3中鲜为人知的属性:-webkit-tap-highlight-color
2017/01/12 HTML / CSS
HTML5的文档结构和新增标签完全解析
2017/04/21 HTML / CSS
意大利咖啡、浓缩咖啡和浓缩咖啡机:illy caffe
2019/03/20 全球购物
编程输出如下图形
2013/11/24 面试题
精彩的大学生自我评价
2013/11/17 职场文书
财务人员担保书
2014/05/13 职场文书
四风问题个人自查剖析材料思想汇报
2014/09/21 职场文书
幼儿教师2014年度工作总结
2014/12/16 职场文书
2015年项目工作总结
2015/04/29 职场文书
五年级作文之学校的四季
2019/12/05 职场文书
与Windows10相比Windows11有哪些改进?值不值得升级?
2021/11/21 数码科技