tensorflow之并行读入数据详解


Posted in Python onFebruary 05, 2020

最近研究了一下并行读入数据的方式,现在将自己的理解整理如下,理解比较浅,仅供参考。

并行读入数据主要分

1. 创建文件名列表

2. 创建文件名队列

3. 创建Reader和Decoder

4. 创建样例列表

5. 创建批列表(读取时可要可不要,一般情况下样例列表可以执行读取数据操作,但是在实际训练的时候往往需要批列表来分批进行数据的组织,提取)

其具体流程如下:

tensorflow之并行读入数据详解

一、 文件名列表:

文件名列表是一个list类型的数据,里面的内容是需要用的数据文件名。可以使用常规的python语法入:[file1, file2]。也可以使用tf.train.match_filename_once方法通过匹配输入。

二、文件名队列

一般使用tf.train.string_input_producer的方法创建文件名队列。该方法传入的是一个文件名列表,输出的是一个先进先出队列。在该方法中存在两个重要参数,num_epochs和shuffle。num_epochs表示列表遍历的次数,主要是由于有时候训练模型需要反复的遍历数据集便于更新模型参数,默认情况下是None(循环遍历)。shuffle表示是否随机遍历,默认情况下是true,表示数据会随机输入队列,当想顺序读入数据时shuffle设置为false。至于其他的capacity表示列表的容量,shared_name表示共享时的名字。

三、Reader和Decoder

Reader的功能是读取数据记录,Decoder的功能是将数据的记录转化为张量格式。在使用时需要先创建输入数据文件对应的Reader,然后从文件名队列中取出文件名,在调用Reader.read的方法返回一个类似于(输入文件名,数据记录)的元组。最后使用Decoder方法将每一列数据都转化为张量的形式。

tensorflow之并行读入数据详解

四、批队列

批队列可以在构建图之前事先构建好,样例队列需要在图中直接产生不用直接预定义。所以先介绍批队列的构建方式。批队列主要是样例打包聚集成批数据,能供模型训练使用。一般是使用tf.train.shuffle_batch和tf.train.batch的方法构建。可以控制批的大小(一次性读入的 数据大小),线程个数,然后在图中直接调用。

tensorflow之并行读入数据详解

五、样例队列

样例队列的创建方式是隐式的,一般在图中为了计算任务顺利的输入数据,我们一般使用tf.train.start_queue_runners方法启动所有的入队操作所需的线程,此时会自动执行所有的文件名入队操作和文件名队列的操作,执行样例队列入队和样例队列的操作。这些都是在后台产生的。

六、线程协调器

并行读取数据离不开多线程操作,多线程操作离不开线程调节器。tensorflow使用tf.train.Coordinatior方法创建管理多线程生命周期的调节器。调节器的工作原理比较简单,它监控Tensoflow后台的所有线程,当某一个线程出现异常时,它的should_stop方法返回true,最后调用request_stop终止所有的线程。但是要注意我们在使用线程调节器之前一定要调用tf.local_variables_initializer方法进行初始化。

七、读入数据类型

tensorflow读入的数据类型可以使csv,TFRecord和自由格式文件。CSV的读取直接调用tf.TextLineReader构建Reader,再调用tf.decoder_csv的方法对文件进行解码变为张量。

TFRecoder是tensorflow标准的输入格式,它是通过protocolBuffer构建的存储数据记录的结构。该数据结构分明,一个样例中包含一组特征Features,一个Features又包含多个特征向量feature。其在读取的时候主要使用tf.TFRecoderReader的方法构建Reader,在使用read的方法读出元组。接着对元组中的value采用tf.parse_single_example()方法进行解析。再解析的时候需要传入features参数,该参数要和构造该文件时输入的字典型变量保持一致(key,value)。key和输入的key一致,value是一个表示该key对应的维度和类型的定西,用tf.FixedLenFeature函数构造,该函数传入参数表示特征形状和特征值的类型。具体如下:

tensorflow之并行读入数据详解

自由格式是指用户自定义的二进制文件,他存储的对象是字符串,每条记录都是一个固定长度的字节块。再读入的时候首先要使用tf.FixedLengthRecoderReader的方法读取对应的二进制文件,然后使用tf.decode_raw的方法将字符串转化为uint8类型的张量。

八、整体代码

具体的相关码如下:

tensorflow之并行读入数据详解

tensorflow之并行读入数据详解

以上这篇tensorflow之并行读入数据详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python编写的com组件发生R6034错误的原因与解决办法
Apr 01 Python
重命名批处理python脚本
Apr 05 Python
python统计日志ip访问数的方法
Jul 06 Python
python获取外网IP并发邮件的实现方法
Oct 01 Python
python使用adbapi实现MySQL数据库的异步存储
Mar 19 Python
pygame实现俄罗斯方块游戏(对战篇1)
Oct 29 Python
python Django框架实现web端分页呈现数据
Oct 31 Python
python使用pymongo与MongoDB基本交互操作示例
Apr 09 Python
用 Django 开发一个 Python Web API的方法步骤
Dec 03 Python
python 机器学习的标准化、归一化、正则化、离散化和白化
Apr 16 Python
python 算法题——快乐数的多种解法
May 27 Python
Python使用永中文档转换服务
May 06 Python
tensorflow mnist 数据加载实现并画图效果
Feb 05 #Python
tensorflow 自定义损失函数示例代码
Feb 05 #Python
利用Tensorflow的队列多线程读取数据方式
Feb 05 #Python
Tensorflow 多线程与多进程数据加载实例
Feb 05 #Python
TensorFlow自定义损失函数来预测商品销售量
Feb 05 #Python
解决Tensorflow 内存泄露问题
Feb 05 #Python
TensorFlow实现指数衰减学习率的方法
Feb 05 #Python
You might like
PHP Mysql编程之高级技巧
2008/08/27 PHP
PHP的单引号和双引号 字符串效率
2009/05/27 PHP
destoon后台网站设置变成空白的解决方法
2014/06/21 PHP
php中文字符串截取方法实例总结
2014/09/30 PHP
php实现字符串翻转的方法
2015/03/27 PHP
PHP实现简单实用的分页类代码
2016/04/08 PHP
PHP上传图片时判断上传文件是否为可用图片的方法
2016/10/20 PHP
PHP+MySQL实现模糊查询员工信息功能示例
2018/06/01 PHP
javascript cookies操作集合
2010/04/12 Javascript
jQuery1.6 正式版发布并提供下载
2011/05/05 Javascript
基于JQuery 的消息提示框效果代码
2011/07/31 Javascript
js图片翻书效果代码分享
2015/08/20 Javascript
详解JavaScript对Date对象的操作问题(生成一个倒数7天的数组)
2015/10/01 Javascript
原生js配合cookie制作保存路径的拖拽
2015/12/29 Javascript
jQuery插件AjaxFileUpload实现ajax文件上传
2016/05/05 Javascript
用js实现简单算法的实例代码
2016/09/24 Javascript
AngularJS动态菜单操作指令
2017/04/25 Javascript
详解vue 项目白屏解决方案
2018/10/31 Javascript
Python实现自定义顺序、排列写入数据到Excel的方法
2018/04/23 Python
selenium+python自动化测试之多窗口切换
2019/01/23 Python
Python实现PyPDF2处理PDF文件的方法示例
2019/09/25 Python
python实发邮件实例详解
2019/11/11 Python
python 实现分组求和与分组累加求和代码
2020/05/18 Python
肯尼亚网上商城:Kilimall
2016/08/20 全球购物
纽约21世纪百货官网:Century 21
2016/08/27 全球购物
乐天旅游香港网站:日本饭店预订
2017/11/29 全球购物
你所知道的集合类都有哪些?主要方法?
2012/12/31 面试题
儿科主治医生个人求职信
2013/09/23 职场文书
测绘工程专业个人自我评价
2013/12/01 职场文书
大学旷课检讨书
2014/01/28 职场文书
地理科学专业自荐信
2014/09/01 职场文书
投标承诺函范文
2015/01/21 职场文书
宾馆前台接待岗位职责
2015/04/02 职场文书
借条如何写
2015/05/26 职场文书
2015年电气技术员工作总结
2015/07/24 职场文书
前端vue+express实现文件的上传下载示例
2022/02/18 Vue.js