Tensorflow分类器项目自定义数据读入的实现


Posted in Python onFebruary 05, 2019

在照着Tensorflow官网的demo敲了一遍分类器项目的代码后,运行倒是成功了,结果也不错。但是最终还是要训练自己的数据,所以尝试准备加载自定义的数据,然而demo中只是出现了fashion_mnist.load_data()并没有详细的读取过程,随后我又找了些资料,把读取的过程记录在这里。

首先提一下需要用到的模块:

import os
import keras
import matplotlib.pyplot as plt
from PIL import Image
from keras.preprocessing.image import ImageDataGenerator
from sklearn.model_selection import train_test_split

图片分类器项目,首先确定你要处理的图片分辨率将是多少,这里的例子为30像素:

IMG_SIZE_X = 30
IMG_SIZE_Y = 30

其次确定你图片的方式目录:

image_path = r'D:\Projects\ImageClassifier\data\set'
path = ".\data"
# 你也可以使用相对路径的方式
# image_path =os.path.join(path, "set")

目录下的结构如下:

Tensorflow分类器项目自定义数据读入的实现

相应的label.txt如下:

动漫
风景
美女
物语
樱花

接下来是接在labels.txt,如下:

label_name = "labels.txt"
label_path = os.path.join(path, label_name)
class_names = np.loadtxt(label_path, type(""))

这里简便起见,直接利用了numpy的loadtxt函数直接加载。

之后便是正式处理图片数据了,注释就写在里面了:

re_load = False
re_build = False
# re_load = True
re_build = True

data_name = "data.npz"
data_path = os.path.join(path, data_name)
model_name = "model.h5"
model_path = os.path.join(path, model_name)

count = 0

# 这里判断是否存在序列化之后的数据,re_load是一个开关,是否强制重新处理,测试用,可以去除。
if not os.path.exists(data_path) or re_load:
  labels = []
  images = []
  print('Handle images')
  # 由于label.txt是和图片防止目录的分类目录一一对应的,即每个子目录的目录名就是labels.txt里的一个label,所以这里可以通过读取class_names的每一项去拼接path后读取
  for index, name in enumerate(class_names):
    # 这里是拼接后的子目录path
    classpath = os.path.join(image_path, name)
    # 先判断一下是否是目录
    if not os.path.isdir(classpath):
      continue
    # limit是测试时候用的这里可以去除
    limit = 0
    for image_name in os.listdir(classpath):
      if limit >= max_size:
        break
      # 这里是拼接后的待处理的图片path
      imagepath = os.path.join(classpath, image_name)
      count = count + 1
      limit = limit + 1
      # 利用Image打开图片
      img = Image.open(imagepath)
      # 缩放到你最初确定要处理的图片分辨率大小
      img = img.resize((IMG_SIZE_X, IMG_SIZE_Y))
      # 转为灰度图片,这里彩色通道会干扰结果,并且会加大计算量
      img = img.convert("L")
      # 转为numpy数组
      img = np.array(img)
      # 由(30,30)转为(1,30,30)(即`channels_first`),当然你也可以转换为(30,30,1)(即`channels_last`)但为了之后预览处理后的图片方便这里采用了(1,30,30)的格式存放
      img = np.reshape(img, (1, IMG_SIZE_X, IMG_SIZE_Y))
      # 这里利用循环生成labels数据,其中存放的实际是class_names中对应元素的索引
      labels.append([index])
      # 添加到images中,最后统一处理
      images.append(img)
      # 循环中一些状态的输出,可以去除
      print("{} class: {} {} limit: {} {}"
         .format(count, index + 1, class_names[index], limit, imagepath))
  # 最后一次性将images和labels都转换成numpy数组
  npy_data = np.array(images)
  npy_labels = np.array(labels)
  # 处理数据只需要一次,所以我们选择在这里利用numpy自带的方法将处理之后的数据序列化存储
  np.savez(data_path, x=npy_data, y=npy_labels)
  print("Save images by npz")
else:
  # 如果存在序列化号的数据,便直接读取,提高速度
  npy_data = np.load(data_path)["x"]
  npy_labels = np.load(data_path)["y"]
  print("Load images by npz")
image_data = npy_data
labels_data = npy_labels

到了这里原始数据的加工预处理便已经完成,只需要最后一步,就和demo中fashion_mnist.load_data()返回的结果一样了。代码如下:

# 最后一步就是将原始数据分成训练数据和测试数据
train_images, test_images, train_labels, test_labels = \
  train_test_split(image_data, labels_data, test_size=0.2, random_state=6)

这里将相关信息打印的方法也附上:

print("_________________________________________________________________")
print("%-28s %-s" % ("Name", "Shape"))
print("=================================================================")
print("%-28s %-s" % ("Image Data", image_data.shape))
print("%-28s %-s" % ("Labels Data", labels_data.shape))
print("=================================================================")

print('Split train and test data,p=%')
print("_________________________________________________________________")
print("%-28s %-s" % ("Name", "Shape"))
print("=================================================================")
print("%-28s %-s" % ("Train Images", train_images.shape))
print("%-28s %-s" % ("Test Images", test_images.shape))
print("%-28s %-s" % ("Train Labels", train_labels.shape))
print("%-28s %-s" % ("Test Labels", test_labels.shape))
print("=================================================================")

之后别忘了归一化哟:

print("Normalize images")
train_images = train_images / 255.0
test_images = test_images / 255.0

最后附上读取自定义数据的完整代码:

import os

import keras
import matplotlib.pyplot as plt
from PIL import Image
from keras.layers import *
from keras.models import *
from keras.optimizers import Adam
from keras.preprocessing.image import ImageDataGenerator
from sklearn.model_selection import train_test_split

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
# 支持中文
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
re_load = False
re_build = False
# re_load = True
re_build = True
epochs = 50
batch_size = 5
count = 0
max_size = 2000000000

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python命令行参数解析OptionParser类用法实例
Oct 09 Python
以一个投票程序的实例来讲解Python的Django框架使用
Feb 18 Python
读取本地json文件,解析json(实例讲解)
Dec 06 Python
使用python爬虫实现网络股票信息爬取的demo
Jan 05 Python
不知道这5种下划线的含义,你就不算真的会Python!
Oct 09 Python
Python实现将字符串的首字母变为大写,其余都变为小写的方法
Jun 11 Python
十分钟搞定pandas(入门教程)
Jun 21 Python
TensorFlow查看输入节点和输出节点名称方式
Jan 04 Python
Python Numpy库常见用法入门教程
Jan 16 Python
python中round函数如何使用
Jun 19 Python
详解Pycharm第三方库的安装及使用方法
Dec 29 Python
Python实现双向链表基本操作
May 25 Python
在Python 字典中一键对应多个值的实例
Feb 03 #Python
Django csrf 两种方法设置form的实例
Feb 03 #Python
解决django前后端分离csrf验证的问题
Feb 03 #Python
Python利用heapq实现一个优先级队列的方法
Feb 03 #Python
对Python3中dict.keys()转换成list类型的方法详解
Feb 03 #Python
对python中字典keys,values,items的使用详解
Feb 03 #Python
python生成带有表格的图片实例
Feb 03 #Python
You might like
微信公众平台开发-微信服务器IP接口实例(含源码)
2017/03/05 PHP
thinkphp5实现微信扫码支付
2019/12/23 PHP
sliderToggle在写jquery的计时器setTimeouter中不生效
2014/05/26 Javascript
jquery实现一个简单好用的弹出框
2014/09/26 Javascript
js自定义select下拉框美化特效
2016/05/12 Javascript
Javascript 基础---Ajax入门必看
2016/07/06 Javascript
基于 Vue 实现一个酷炫的 menu插件
2017/11/14 Javascript
在vue中使用css modules替代scroped的方法
2018/03/10 Javascript
关于vue面试题汇总
2018/03/20 Javascript
jQuery实现带右侧索引功能的通讯录示例【附源码下载】
2018/04/17 jQuery
Angular 如何使用第三方库的方法
2018/04/18 Javascript
Element UI框架中巧用树选择器的实现
2018/12/12 Javascript
jquery层次选择器的介绍
2019/01/18 jQuery
浅探express路由和中间件的实现
2019/09/30 Javascript
处理JavaScript值为undefined的7个小技巧
2020/07/28 Javascript
js+h5 canvas实现图片验证码
2020/10/11 Javascript
[01:05]主宰至宝剑心之遗
2017/03/16 DOTA
详谈Python2.6和Python3.0中对除法操作的异同
2017/04/28 Python
Python中支持向量机SVM的使用方法详解
2017/12/26 Python
对DataFrame数据中的重复行,利用groupby累加合并的方法详解
2019/01/30 Python
教你如何编写、保存与运行Python程序的方法
2019/07/12 Python
Python基于pygame实现单机版五子棋对战
2019/12/26 Python
Python利用Scrapy框架爬取豆瓣电影示例
2020/01/17 Python
css 省略号 css3让多余的字符串消失并附加省略号的实现代码
2013/02/07 HTML / CSS
Shop Apotheke瑞士:您的健康与美容网上商店
2019/10/09 全球购物
养生餐厅创业计划书范文
2014/03/26 职场文书
满月酒主持词
2014/03/27 职场文书
工业设计毕业生自荐信
2014/04/13 职场文书
政风行风评议工作总结
2014/10/21 职场文书
2014年小班保育员工作总结
2014/12/23 职场文书
教师工作表现评语
2014/12/31 职场文书
领导工作表现评语
2015/01/04 职场文书
2015年端午节活动方案
2015/05/05 职场文书
python使用pygame创建精灵Sprite
2021/04/06 Python
Python可视化学习之seaborn调色盘
2022/02/24 Python
Golang流模式之grpc的四种数据流
2022/04/13 Golang