keras 读取多标签图像数据方式


Posted in Python onJune 12, 2020

我所接触的多标签数据,主要包括两类:

1、一张图片属于多个标签,比如,data:一件蓝色的上衣图片.jpg,label:蓝色,上衣。其中label包括两类标签,label1第一类:上衣,裤子,外套。label2第二类,蓝色,黑色,红色。这样两个输出label1,label2都是是分类,我们可以直接把label1和label2整合为一个label,直接编码,比如[蓝色,上衣]编码为[011011]。这样模型的输出也只需要一个输出。实现了多分类。

2、一张图片属于多个标签,但是几个标签不全是分类。比如data:一张结婚现场的图片.jpg,label:高兴,3(表示高兴程度)。这时label1是分类,label2时回归。这种情况就需要多个标签,模型需要多个输出。【其实最好的例子,就是目标检测,不但检测什么物体(分类),还要检测到物体的坐标(回归)】

在这里我主要针对第二种情况加以说明:

keras的ImageDataGenerator.flow_from_directory 只能简单的读取单标签数据。所以我自己写了个data_generate,来生成bathsize多标签数据

keras 读取多标签图像数据方式

#此模块主要用来读取数据集,返回一个数据可迭代对象
#重点是,此模块分批次的把图像读入内存的,而不是一次全读入,有效的减少了内存溢出
import os
import cv2
import numpy as np
import keras
from random import shuffle

#目标图像大小
image_size= (229, 229, 3)
#类别编码
class_dict=dict(zip(['neg','pos','neu'],[0,1,2]))
#处理.txt文件,并加载图片文件夹里的图片名
#txt_path,txt文件路径,data_path,图片文件夹路径

def read_txt(txt_path,data_path):
 # 中间数组
 labels_class = []
 labels_score = []
 with open(txt_path) as f:
 lines_list = f.readlines()
 for lines in lines_list:
  line = lines.split(' ')
  labels_class.append(line[0].rstrip(".jpg"))
  labels_score.append(line[2])
 labels_dict=dict(zip(labels_class,labels_score))
 #处理图片数据集
 all_picture_name = os.listdir(data_path)
 #打乱数据集
 shuffle(all_picture_name)
 all_picture_path=[os.path.join(data_path,one)for one in all_picture_name]
 return all_picture_name,all_picture_path,labels_dict

class data_generate:
 def __init__(self,all_piture_name,all_picture_path,labels_dict,batch_size):
 self.index=0
 self.all_picture_name=all_piture_name
 self.all_picture_path=all_picture_path
 self.labels_dict=labels_dict
 self.batch_size = batch_size
 def get_mini_batch(self):
  while True:
  batch_images=[]
  batch_labels=[]
  batch_class=[]
  batch_score=[]
  for i in range(self.batch_size):
  if(self.index==len(self.all_picture_name)):
   self.index=0

  bgr_image = cv2.imread(self.all_picture_path[self.index])
  if len(bgr_image.shape) == 2: # 若是灰度图则转为三通道
   bgr_image = cv2.cvtColor(bgr_image, cv2.COLOR_GRAY2BGR)
  rgb_image = cv2.cvtColor(bgr_image, cv2.COLOR_BGR2RGB)
  rgb_image=cv2.resize(rgb_image,(image_size[0], image_size[1]))
  img = np.array(rgb_image)
  img=keras.applications.inception_v3.preprocess_input(img)
  batch_images.append(img)
  #label=[]
  label1=self.all_picture_name[self.index].rstrip(".jpg")
  batch_class.append(keras.utils.to_categorical(class_dict[label1[:3]], 3))
  batch_score.append(np.array(self.labels_dict[label1]))
  #batch_labels.append(label)
  self.index+=1
  batch_images=np.array(batch_images)
  batch_class = np.array(batch_class)
  batch_score = np.array(batch_score)
  #注意label的生成batch_class,一个单独数组,batch_score一个单独的数组
  '''
  注释掉的这段代码生成的label是错误的。
  batch_images=[]
  batch_labels=[]
  for i in range(self.batch_size):
  if(self.index==len(self.images)):
   self.index=0
  batch_images.append(self.images[self.index])
  batch_labels.append(self.labels[self.index])
  self.index+=1
  batch_images=np.array(batch_images)
  batch_labels=np.array(batch_labels)
  yield batch_images,batch_labels
  '''
  yield batch_images,[batch_class,batch_score]

接下来就是放入keras.fit_generate中了

history=model.fit_generator(generator=train_data.get_mini_batch(),
   steps_per_epoch=146,
   epochs=300,
   validation_data=test_data.get_mini_batch(),
   validation_steps=34,
   )

以上这篇keras 读取多标签图像数据方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python装饰器使用实例:验证参数合法性
Jun 24 Python
Pipenv一键搭建python虚拟环境的方法
May 22 Python
python事件驱动event实现详解
Nov 21 Python
浅谈python中get pass用法
Mar 19 Python
Linux下远程连接Jupyter+pyspark部署教程
Jun 21 Python
使用Python制作表情包实现换脸功能
Jul 19 Python
Python 保持登录状态进行接口测试的方法示例
Aug 06 Python
Python 类,property属性(简化属性的操作),@property,property()用法示例
Oct 12 Python
用Python实现校园通知更新提醒功能
Nov 23 Python
Python实例方法、类方法、静态方法区别详解
Sep 05 Python
Python爬虫爬取有道实现翻译功能
Nov 27 Python
Matlab求解数组中的最大值及它所在的具体位置
Apr 16 Python
Python数据可视化图实现过程详解
Jun 12 #Python
浅谈cv2.imread()和keras.preprocessing中的image.load_img()区别
Jun 12 #Python
升级keras解决load_weights()中的未定义skip_mismatch关键字问题
Jun 12 #Python
解决Tensorflow2.0 tf.keras.Model.load_weights() 报错处理问题
Jun 12 #Python
python + selenium 刷B站播放量的实例代码
Jun 12 #Python
解决Keras自带数据集与预训练model下载太慢问题
Jun 12 #Python
keras导入weights方式
Jun 12 #Python
You might like
PHP函数preg_match_all正则表达式的基本使用详细解析
2013/08/31 PHP
背景音乐每次刷新都可以自动更换
2007/02/01 Javascript
js 全兼容可高亮二级缓冲折叠菜单
2010/06/04 Javascript
JQuery Study Notes 学习笔记(一)
2010/08/04 Javascript
解析javascript 数组以及json元素的添加删除
2013/06/26 Javascript
Extjs实现进度条的两种便捷方式
2013/09/26 Javascript
js中function()使用方法
2013/12/24 Javascript
JS中三目运算符和if else的区别分析与示例
2014/11/21 Javascript
基于jQuery实现下拉框
2014/11/24 Javascript
JS取得绝对路径的实现代码
2015/01/16 Javascript
js检测判断日期大于多少天的方法
2015/05/04 Javascript
jquery 表单验证之通过 class验证表单不为空
2015/11/02 Javascript
使用JQuery FancyBox插件实现图片展示特效
2015/11/16 Javascript
Javascript中浏览器窗口的基本操作总结
2016/08/18 Javascript
聊一聊JS中的prototype
2016/09/29 Javascript
详谈jQuery unbind 删除绑定事件 / 移除标签方法
2017/03/02 Javascript
Javascript实现base64的加密解密方法示例
2017/06/27 Javascript
ES6/JavaScript使用技巧分享
2017/12/14 Javascript
详解vue通过NGINX部署在子目录或者二级目录实践
2018/09/03 Javascript
vue基于viewer实现的图片查看器功能
2019/04/12 Javascript
解决LayUI加上form.render()下拉框和单选以及复选框不出来的问题
2019/09/27 Javascript
[08:08]DOTA2-DPC中国联赛2月28日Recap集锦
2021/03/11 DOTA
在Linux下调试Python代码的各种方法
2015/04/17 Python
python实现求两个字符串的最长公共子串方法
2018/07/20 Python
在Python 不同级目录之间模块的调用方法
2019/01/19 Python
python运用pygame库实现双人弹球小游戏
2019/11/25 Python
关于python中的xpath解析定位
2020/03/06 Python
利用Python实现最小二乘法与梯度下降算法
2021/02/21 Python
Html5页面内使用JSON动画的实现
2019/01/29 HTML / CSS
New Balance俄罗斯官方网上商店:购买运动鞋
2020/03/02 全球购物
卫校中专生的自我评价
2014/01/15 职场文书
奶茶店创业计划书范文
2014/01/17 职场文书
行为习惯主题班会
2015/08/14 职场文书
2019同学聚会主持词
2019/05/06 职场文书
大学生饮品店创业计划书范文
2019/07/10 职场文书
Python爬取英雄联盟MSI直播间弹幕并生成词云图
2021/06/01 Python