TensorFlow高效读取数据的方法示例


Posted in Python onFebruary 06, 2018

概述

最新上传的mcnn中有完整的数据读写示例,可以参考。

关于Tensorflow读取数据,官网给出了三种方法:

  1. 供给数据(Feeding): 在TensorFlow程序运行的每一步, 让Python代码来供给数据。
  2. 从文件读取数据: 在TensorFlow图的起始, 让一个输入管线从文件中读取数据。
  3. 预加载数据: 在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况)。

对于数据量较小而言,可能一般选择直接将数据加载进内存,然后再分batch输入网络进行训练(tip:使用这种方法时,结合yield 使用更为简洁,大家自己尝试一下吧,我就不赘述了)。但是,如果数据量较大,这样的方法就不适用了,因为太耗内存,所以这时最好使用tensorflow提供的队列queue,也就是第二种方法 从文件读取数据。对于一些特定的读取,比如csv文件格式,官网有相关的描述,在这儿我介绍一种比较通用,高效的读取方法(官网介绍的少),即使用tensorflow内定标准格式——TFRecords

太长不看,直接看源码请猛戳我的github,记得加星哦。

TFRecords

TFRecords其实是一种二进制文件,虽然它不如其他格式好理解,但是它能更好的利用内存,更方便复制和移动,并且不需要单独的标签文件(等会儿就知道为什么了)… …总而言之,这样的文件格式好处多多,所以让我们用起来吧。

TFRecords文件包含了tf.train.Example 协议内存块(protocol buffer)(协议内存块包含了字段 Features)。我们可以写一段代码获取你的数据, 将数据填入到Example协议内存块(protocol buffer),将协议内存块序列化为一个字符串, 并且通过tf.python_io.TFRecordWriter 写入到TFRecords文件。

从TFRecords文件中读取数据, 可以使用tf.TFRecordReader的tf.parse_single_example解析器。这个操作可以将Example协议内存块(protocol buffer)解析为张量。

接下来,让我们开始读取数据之旅吧~

生成TFRecords文件

我们使用tf.train.Example来定义我们要填入的数据格式,然后使用tf.python_io.TFRecordWriter来写入。

import os
import tensorflow as tf 
from PIL import Image

cwd = os.getcwd()

'''
此处我加载的数据目录如下:
0 -- img1.jpg
   img2.jpg
   img3.jpg
   ...
1 -- img1.jpg
   img2.jpg
   ...
2 -- ...
 这里的0, 1, 2...就是类别,也就是下文中的classes
 classes是我根据自己数据类型定义的一个列表,大家可以根据自己的数据情况灵活运用
...
'''
writer = tf.python_io.TFRecordWriter("train.tfrecords")
for index, name in enumerate(classes):
  class_path = cwd + name + "/"
  for img_name in os.listdir(class_path):
    img_path = class_path + img_name
      img = Image.open(img_path)
      img = img.resize((224, 224))
    img_raw = img.tobytes()       #将图片转化为原生bytes
    example = tf.train.Example(features=tf.train.Features(feature={
      "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),
      'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))
    }))
    writer.write(example.SerializeToString()) #序列化为字符串
writer.close()

关于Example Feature的相关定义和详细内容,我推荐去官网查看相关API。

基本的,一个Example中包含Features,Features里包含Feature(这里没s)的字典。最后,Feature里包含有一个 FloatList, 或者ByteList,或者Int64List

就这样,我们把相关的信息都存到了一个文件中,所以前面才说不用单独的label文件。而且读取也很方便。

接下来是一个简单的读取小例子:

for serialized_example in tf.python_io.tf_record_iterator("train.tfrecords"):
  example = tf.train.Example()
  example.ParseFromString(serialized_example)

  image = example.features.feature['image'].bytes_list.value
  label = example.features.feature['label'].int64_list.value
  # 可以做一些预处理之类的
  print image, label

使用队列读取

一旦生成了TFRecords文件,为了高效地读取数据,TF中使用队列(queue)读取数据。

def read_and_decode(filename):
  #根据文件名生成一个队列
  filename_queue = tf.train.string_input_producer([filename])

  reader = tf.TFRecordReader()
  _, serialized_example = reader.read(filename_queue)  #返回文件名和文件
  features = tf.parse_single_example(serialized_example,
                    features={
                      'label': tf.FixedLenFeature([], tf.int64),
                      'img_raw' : tf.FixedLenFeature([], tf.string),
                    })

  img = tf.decode_raw(features['img_raw'], tf.uint8)
  img = tf.reshape(img, [224, 224, 3])
  img = tf.cast(img, tf.float32) * (1. / 255) - 0.5
  label = tf.cast(features['label'], tf.int32)

  return img, label

之后我们可以在训练的时候这样使用

img, label = read_and_decode("train.tfrecords")

#使用shuffle_batch可以随机打乱输入
img_batch, label_batch = tf.train.shuffle_batch([img, label],
                        batch_size=30, capacity=2000,
                        min_after_dequeue=1000)
init = tf.initialize_all_variables()

with tf.Session() as sess:
  sess.run(init)
  threads = tf.train.start_queue_runners(sess=sess)
  for i in range(3):
    val, l= sess.run([img_batch, label_batch])
    #我们也可以根据需要对val, l进行处理
    #l = to_categorical(l, 12) 
    print(val.shape, l)

至此,tensorflow高效从文件读取数据差不多完结了。

恩?等等…什么叫差不多?对了,还有几个注意事项:

第一,tensorflow里的graph能够记住状态(state),这使得TFRecordReader能够记住tfrecord的位置,并且始终能返回下一个。而这就要求我们在使用之前,必须初始化整个graph,这里我们使用了函数tf.initialize_all_variables()来进行初始化。

第二,tensorflow中的队列和普通的队列差不多,不过它里面的operation和tensor都是符号型的(symbolic),在调用sess.run()时才执行。

第三, TFRecordReader会一直弹出队列中文件的名字,直到队列为空。

总结

  1. 生成tfrecord文件
  2. 定义record reader解析tfrecord文件
  3. 构造一个批生成器(batcher)
  4. 构建其他的操作
  5. 初始化所有的操作
  6. 启动QueueRunner

例子代码请戳我的github,如果觉得对你有帮助的话可以加个星哦。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Django的URLconf中使用缺省视图参数的方法
Jul 18 Python
Python检测生僻字的实现方法
Oct 23 Python
使用PyV8在Python爬虫中执行js代码
Feb 16 Python
Python自定义线程类简单示例
Mar 23 Python
Python中实现单例模式的n种方式和原理
Nov 14 Python
python re正则匹配网页中图片url地址的方法
Dec 20 Python
Python+OpenCV图片局部区域像素值处理详解
Jan 23 Python
python爬取cnvd漏洞库信息的实例
Feb 14 Python
python中通过selenium简单操作及元素定位知识点总结
Sep 10 Python
详解django中Template语言
Feb 22 Python
Python unittest基本使用方法代码实例
Jun 29 Python
django 获取字段最大值,最新的记录操作
Aug 09 Python
django使用xlwt导出excel文件实例代码
Feb 06 #Python
Python使用装饰器进行django开发实例代码
Feb 06 #Python
Python yield与实现方法代码分析
Feb 06 #Python
Django中间件工作流程及写法实例代码
Feb 06 #Python
Django数据库表反向生成实例解析
Feb 06 #Python
Python使用functools实现注解同步方法
Feb 06 #Python
django中send_mail功能实现详解
Feb 06 #Python
You might like
使用php4加速网络传输
2006/10/09 PHP
浅析php变量修饰符static的使用
2013/06/28 PHP
php猴子选大王问题解决方法
2015/05/12 PHP
PHP实现简单爬虫的方法
2015/07/29 PHP
解决form中action属性后面?传递参数 获取不到的问题
2017/07/21 PHP
基于php数组中的索引数组和关联数组详解
2018/03/12 PHP
Laravel框架创建路由的方法详解
2019/09/04 PHP
[原创]js获取数组任意个不重复的随机数组元素
2010/03/15 Javascript
基于NodeJS的前后端分离的思考与实践(一)全栈式开发
2014/09/26 NodeJs
jQuery中parent()方法用法实例
2015/01/07 Javascript
jQuery实现的支持IE的html滑动条
2015/03/16 Javascript
node puppeteer(headless chrome)实现网站登录
2018/05/09 Javascript
vue项目打包后打开页面空白解决办法
2018/06/29 Javascript
微信小程序日期选择器实例代码
2018/07/18 Javascript
Vue.js 中的 v-show 指令及用法详解
2018/11/19 Javascript
element-ui 中使用upload多文件上传只请求一次接口
2019/07/19 Javascript
webpack的tree shaking的实现方法
2019/09/18 Javascript
jquery传参及获取方式(两种方式)
2020/02/13 jQuery
原生js实现日期选择插件
2020/05/21 Javascript
vue实现简单跑马灯效果
2020/05/25 Javascript
Vue 解决父组件跳转子路由后当前导航active样式消失问题
2020/07/21 Javascript
[15:41]教你分分钟做大人——灰烬之灵
2015/03/11 DOTA
[58:58]2018DOTA2亚洲邀请赛 4.4 淘汰赛 TNC vs VG 第二场
2018/04/05 DOTA
Queue 实现生产者消费者模型(实例讲解)
2017/11/13 Python
python分数表示方式和写法
2019/06/26 Python
Django  ORM 练习题及答案
2019/07/19 Python
使用Python的turtle模块画国旗
2019/09/24 Python
浅谈tensorflow使用张量时的一些注意点tf.concat,tf.reshape,tf.stack
2020/06/23 Python
关于python scrapy中添加cookie踩坑记录
2020/11/17 Python
html特殊符号示例 html特殊字符编码对照表
2014/01/14 HTML / CSS
Otiumberg官网:英国半精致珠宝品牌
2021/01/16 全球购物
学生就业推荐信
2013/11/13 职场文书
年度考核自我评价
2014/01/25 职场文书
标准版离职证明书
2014/09/12 职场文书
新店开业策划方案怎么书写?
2019/07/05 职场文书
Django + Taro 前后端分离项目实现企业微信登录功能
2022/04/07 Python