tensorflow之并行读入数据详解


Posted in Python onFebruary 05, 2020

最近研究了一下并行读入数据的方式,现在将自己的理解整理如下,理解比较浅,仅供参考。

并行读入数据主要分

1. 创建文件名列表

2. 创建文件名队列

3. 创建Reader和Decoder

4. 创建样例列表

5. 创建批列表(读取时可要可不要,一般情况下样例列表可以执行读取数据操作,但是在实际训练的时候往往需要批列表来分批进行数据的组织,提取)

其具体流程如下:

tensorflow之并行读入数据详解

一、 文件名列表:

文件名列表是一个list类型的数据,里面的内容是需要用的数据文件名。可以使用常规的python语法入:[file1, file2]。也可以使用tf.train.match_filename_once方法通过匹配输入。

二、文件名队列

一般使用tf.train.string_input_producer的方法创建文件名队列。该方法传入的是一个文件名列表,输出的是一个先进先出队列。在该方法中存在两个重要参数,num_epochs和shuffle。num_epochs表示列表遍历的次数,主要是由于有时候训练模型需要反复的遍历数据集便于更新模型参数,默认情况下是None(循环遍历)。shuffle表示是否随机遍历,默认情况下是true,表示数据会随机输入队列,当想顺序读入数据时shuffle设置为false。至于其他的capacity表示列表的容量,shared_name表示共享时的名字。

三、Reader和Decoder

Reader的功能是读取数据记录,Decoder的功能是将数据的记录转化为张量格式。在使用时需要先创建输入数据文件对应的Reader,然后从文件名队列中取出文件名,在调用Reader.read的方法返回一个类似于(输入文件名,数据记录)的元组。最后使用Decoder方法将每一列数据都转化为张量的形式。

tensorflow之并行读入数据详解

四、批队列

批队列可以在构建图之前事先构建好,样例队列需要在图中直接产生不用直接预定义。所以先介绍批队列的构建方式。批队列主要是样例打包聚集成批数据,能供模型训练使用。一般是使用tf.train.shuffle_batch和tf.train.batch的方法构建。可以控制批的大小(一次性读入的 数据大小),线程个数,然后在图中直接调用。

tensorflow之并行读入数据详解

五、样例队列

样例队列的创建方式是隐式的,一般在图中为了计算任务顺利的输入数据,我们一般使用tf.train.start_queue_runners方法启动所有的入队操作所需的线程,此时会自动执行所有的文件名入队操作和文件名队列的操作,执行样例队列入队和样例队列的操作。这些都是在后台产生的。

六、线程协调器

并行读取数据离不开多线程操作,多线程操作离不开线程调节器。tensorflow使用tf.train.Coordinatior方法创建管理多线程生命周期的调节器。调节器的工作原理比较简单,它监控Tensoflow后台的所有线程,当某一个线程出现异常时,它的should_stop方法返回true,最后调用request_stop终止所有的线程。但是要注意我们在使用线程调节器之前一定要调用tf.local_variables_initializer方法进行初始化。

七、读入数据类型

tensorflow读入的数据类型可以使csv,TFRecord和自由格式文件。CSV的读取直接调用tf.TextLineReader构建Reader,再调用tf.decoder_csv的方法对文件进行解码变为张量。

TFRecoder是tensorflow标准的输入格式,它是通过protocolBuffer构建的存储数据记录的结构。该数据结构分明,一个样例中包含一组特征Features,一个Features又包含多个特征向量feature。其在读取的时候主要使用tf.TFRecoderReader的方法构建Reader,在使用read的方法读出元组。接着对元组中的value采用tf.parse_single_example()方法进行解析。再解析的时候需要传入features参数,该参数要和构造该文件时输入的字典型变量保持一致(key,value)。key和输入的key一致,value是一个表示该key对应的维度和类型的定西,用tf.FixedLenFeature函数构造,该函数传入参数表示特征形状和特征值的类型。具体如下:

tensorflow之并行读入数据详解

自由格式是指用户自定义的二进制文件,他存储的对象是字符串,每条记录都是一个固定长度的字节块。再读入的时候首先要使用tf.FixedLengthRecoderReader的方法读取对应的二进制文件,然后使用tf.decode_raw的方法将字符串转化为uint8类型的张量。

八、整体代码

具体的相关码如下:

tensorflow之并行读入数据详解

tensorflow之并行读入数据详解

以上这篇tensorflow之并行读入数据详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用dis模块把Python反编译为字节码的用法详解
Jun 14 Python
浅谈Python浅拷贝、深拷贝及引用机制
Dec 15 Python
TensorFlow高效读取数据的方法示例
Feb 06 Python
python学习基础之循环import及import过程
Apr 22 Python
Python3之手动创建迭代器的实例代码
May 22 Python
django框架使用orm实现批量更新数据的方法
Jun 21 Python
ipython和python区别详解
Jun 26 Python
Python求均值,方差,标准差的实例
Jun 29 Python
如何通过Python实现标签云算法
Jul 02 Python
Scrapy框架实现的登录网站操作示例
Feb 06 Python
Python中的特殊方法以及应用详解
Sep 20 Python
Python获取字典中某个key的value
Apr 13 Python
tensorflow mnist 数据加载实现并画图效果
Feb 05 #Python
tensorflow 自定义损失函数示例代码
Feb 05 #Python
利用Tensorflow的队列多线程读取数据方式
Feb 05 #Python
Tensorflow 多线程与多进程数据加载实例
Feb 05 #Python
TensorFlow自定义损失函数来预测商品销售量
Feb 05 #Python
解决Tensorflow 内存泄露问题
Feb 05 #Python
TensorFlow实现指数衰减学习率的方法
Feb 05 #Python
You might like
php array_flip() 删除数组重复元素
2009/01/14 PHP
yii2.0整合阿里云oss上传单个文件的示例
2017/09/19 PHP
php单元测试phpunit入门实例教程
2017/11/17 PHP
JS 实现导航栏悬停效果(续)
2013/09/24 Javascript
jquery实现简单易懂的图片展示小例子
2013/11/21 Javascript
javascript中arguments,callee,caller详解
2016/03/16 Javascript
jQuery操作动态生成的内容的方法
2016/05/28 Javascript
js定时器实例分享
2016/12/20 Javascript
微信小程序 判断手机号的实现代码
2017/04/19 Javascript
深入解析nodejs HTTP服务
2017/07/25 NodeJs
vue中遇到的坑之变化检测问题(数组相关)
2017/10/13 Javascript
ES6 Array常用扩展的应用实例分析
2019/06/26 Javascript
Vue实现日历小插件
2019/06/26 Javascript
Vue在H5 项目中使用融云进行实时个人单聊通讯
2020/12/14 Vue.js
[01:00:49]DOTA2-DPC中国联赛 正赛 Ehome vs iG BO3 第二场 1月31日
2021/03/11 DOTA
由浅入深讲解python中的yield与generator
2017/04/05 Python
python利用rsa库做公钥解密的方法教程
2017/12/10 Python
Python基于百度云文字识别API
2018/12/13 Python
python程序控制NAO机器人行走
2019/04/29 Python
python连接PostgreSQL数据库的过程详解
2019/09/18 Python
如何基于python对接钉钉并获取access_token
2020/04/21 Python
Python3.9新特性详解
2020/10/10 Python
推荐一些比较有用的css3新属性
2014/11/11 HTML / CSS
Html5 FileReader实现即时上传图片功能实例代码
2014/09/01 HTML / CSS
美国市场上最实惠的送餐服务:Dinnerly
2018/03/18 全球购物
家得宝墨西哥官网:The Home Depot墨西哥
2019/11/18 全球购物
Jones Bootmaker官网:优质靴子和鞋子在线
2020/11/30 全球购物
几个SQL的面试题
2014/03/08 面试题
公司副总经理任命书
2014/06/05 职场文书
介绍信怎么写
2015/05/05 职场文书
2015年副班长工作总结
2015/05/15 职场文书
母亲节感言
2015/08/03 职场文书
2016年五四青年节校园广播稿
2015/12/17 职场文书
Python基础详解之描述符
2021/04/28 Python
python实现简易自习室座位预约系统
2021/06/30 Python
如何开启Apache,Nginx和IIS服务器的GZIP压缩功能
2022/04/29 Servers