keras和tensorflow使用fit_generator 批次训练操作


Posted in Python onJuly 03, 2020

fit_generator 是 keras 提供的用来进行批次训练的函数,使用方法如下:

model.fit_generator(generator, steps_per_epoch=None, epochs=1,
    verbose=1, callbacks=None, validation_data=None, validation_steps=None,
    class_weight=None, max_queue_size=10, workers=1, use_multiprocessing=False,
    shuffle=True, initial_epoch=0)

参数说明:

generator: 一个生成器,或者一个 Sequence (keras.utils.Sequence) 对象的实例, 以在使用多进程时避免数据的重复。 生成器的输出应该为以下之一:

一个(inputs, targets) 元组

一个 (inputs, targets, sample_weights) 元组。

这个元组(生成器的单个输出)组成了单个的 batch。 因此,这个元组中的所有数组长度必须相同(与这一个 batch 的大小相等)。 不同的 batch 可能大小不同。 例如,一个 epoch 的最后一个 batch 往往比其他 batch 要小, 如果数据集的尺寸不能被 batch size 整除。 生成器将无限地在数据集上循环。当运行到第steps_per_epoch 时,记一个 epoch 结束。

steps_per_epoch: 在声明一个 epoch 完成并开始下一个 epoch 之前从 generator产生的总步数(批次样本)。 它通常应该等于你的数据集的样本数量除以批量大小。 对于Sequence,它是可选的:如果未指定,将使用len(generator)作为步数。

epochs: 整数。训练模型的迭代总轮数。一个 epoch 是对所提供的整个数据的一轮迭代,如 steps_per_epoch 所定义。注意,与 initial_epoch 一起使用,epoch 应被理解为「最后一轮」。模型没有经历由 epochs 给出的多次迭代的训练,而仅仅是直到达到索引 epoch 的轮次。

verbose: 0, 1 或 2。日志显示模式。 0 = 安静模式, 1 = 进度条, 2 = 每轮一行。

callbacks: keras.callbacks.Callback 实例的列表。在训练时调用的一系列回调函数。

validation_data: 它可以是以下之一:

验证数据的生成器或Sequence实例

一个(inputs, targets) 元组

一个(inputs, targets, sample_weights) 元组。

在每个 epoch 结束时评估损失和任何模型指标。该模型不会对此数据进行训练。

validation_steps: 仅当 validation_data 是一个生成器时才可用。 在停止前 generator 生成的总步数(样本批数)。 对于 Sequence,它是可选的:如果未指定,将使用 len(generator) 作为步数。

class_weight: 可选的将类索引(整数)映射到权重(浮点)值的字典,用于加权损失函数(仅在训练期间)。 这可以用来告诉模型「更多地关注」来自代表性不足的类的样本。

max_queue_size: 整数。生成器队列的最大尺寸。 如未指定,max_queue_size 将默认为 10。

workers: 整数。使用的最大进程数量,如果使用基于进程的多线程。 如未指定,workers 将默认为 1。如果为 0,将在主线程上执行生成器。

use_multiprocessing: 布尔值。如果 True,则使用基于进程的多线程。 如未指定, use_multiprocessing 将默认为 False。 请注意,由于此实现依赖于多进程,所以不应将不可传递的参数传递给生成器,因为它们不能被轻易地传递给子进程。

shuffle: 是否在每轮迭代之前打乱 batch 的顺序。 只能与 Sequence (keras.utils.Sequence) 实例同用。

initial_epoch: 开始训练的轮次(有助于恢复之前的训练)。

补充知识:Keras中fit_generator 的多个分支输入时,需注意generator的格式 以及 输入序列的顺序

需要注意迭代器 yeild返回不能是[x1,x2],y 这样,而是要完整的字典格式的:

yield ({'input_1': x1, 'input_2': x2}, {'output': y})

这也不算坑 追进去 fit_generator也能看到示例

def generate_batch(x_train,y_train,batch_size,x_train2,randomFlag=True):
 ylen = len(y_train)
 loopcount = ylen // batch_size
 i=-1
 while True:
  if randomFlag:
   i = random.randint(0,loopcount-1)
  else:
   i=i+1
   i=i%loopcount

  yield ({'lstmInput': x_train[i*batch_size:(i+1)*batch_size], 
    'bgInput': x_train2[i*batch_size:(i+1)*batch_size]}, 
   {'prediction': y_train[i*batch_size:(i+1)*batch_size]})

ps: 因为要是tuple yield后的括号不能省

需注意的坑1是,validation data中如果用【】组成数组进行输入,是要按顺序的,按编译model前的设置model = Model(inputs=[simInput,lstmInput,bgInput], outputs=predictions),中数组的顺序来编译

需注意的坑2是,多输入input时,以后都用 inputs1=Input(batch_shape=(batchSize,TPeriod,dimIn,),name='input1LSTM')指定batchSize,不然跟stateful lstm结合时,会提示不匹配。

history=model.fit_generator(generate_batch(trainX,trainY,batchSize,trainX2),
   steps_per_epoch=len(trainX)//batchSize,
   validation_data=([testX,testX2],testY),
   epochs=epochs,
   callbacks=[tensorboard,checkpoint],initial_epoch=0,verbose=1) # Fit the LSTM network/拟合LSTM网络

以上这篇keras和tensorflow使用fit_generator 批次训练操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现list反转实例汇总
Nov 11 Python
python获取各操作系统硬件信息的方法
Jun 03 Python
Django中使用locals()函数的技巧
Jul 16 Python
django模型层(model)进行建表、查询与删除的基础教程
Nov 21 Python
浅谈Python实现Apriori算法介绍
Dec 20 Python
python 快速把超大txt文件转存为csv的实例
Oct 26 Python
Python 调用 zabbix api的方法示例
Jan 06 Python
Python3实现的判断回文链表算法示例
Mar 08 Python
Python异常继承关系和自定义异常实现代码实例
Feb 20 Python
Python通过Pillow实现图片对比
Apr 29 Python
解决keras加入lambda层时shape的问题
Jun 11 Python
python3 中使用urllib问题以及urllib详解
Aug 03 Python
基于Python+QT的gui程序开发实现
Jul 03 #Python
keras 两种训练模型方式详解fit和fit_generator(节省内存)
Jul 03 #Python
一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系
Jul 03 #Python
keras分类模型中的输入数据与标签的维度实例
Jul 03 #Python
keras自动编码器实现系列之卷积自动编码器操作
Jul 03 #Python
Python with语句用法原理详解
Jul 03 #Python
Keras搭建自编码器操作
Jul 03 #Python
You might like
php对大文件进行读取操作的实现代码
2013/01/23 PHP
PHP使用PHPMailer发送邮件的简单使用方法
2013/11/12 PHP
ThinkPHP3.2.2的插件控制器功能
2015/03/05 PHP
PHP获取文件夹大小函数用法实例
2015/07/01 PHP
PHP实现登陆表单提交CSRF及验证码
2017/01/24 PHP
查看大图功能代码jquery版
2013/11/05 Javascript
jQuery学习笔记之jQuery原型属性和方法
2014/06/09 Javascript
JavaScript中使用arguments获得函数传参个数实例
2014/08/27 Javascript
node.js中的buffer.Buffer.isBuffer方法使用说明
2014/12/14 Javascript
jQuery实现的多级下拉菜单效果代码
2015/08/24 Javascript
javascript模拟C#格式化字符串
2015/08/26 Javascript
一种新的javascript对象创建方式Object.create()
2015/12/28 Javascript
jQuery插件datatables使用教程
2016/04/21 Javascript
jQuery EasyUI Tab 选项卡问题小结
2016/08/16 Javascript
用jquery快速解决IE输入框不能输入的问题
2016/10/04 Javascript
javascript 实现动态侧边栏实例详解
2016/11/11 Javascript
JS沙箱模式实例分析
2017/09/04 Javascript
vue中render函数的使用详解
2018/10/12 Javascript
ES6中Set和Map数据结构,Map与其它数据结构互相转换操作实例详解
2019/02/28 Javascript
微信小程序遍历Echarts图表实现多个饼图
2019/04/25 Javascript
Vue封装的组件全局注册并引用
2019/07/24 Javascript
python实现可以断点续传和并发的ftp程序
2016/09/13 Python
python监控linux内存并写入mongodb(推荐)
2017/09/11 Python
python3+PyQt5实现文档打印功能
2018/04/24 Python
对python requests的content和text方法的区别详解
2018/10/11 Python
Python常见数据结构之栈与队列用法示例
2019/01/14 Python
Python实现的读取文件内容并写入其他文件操作示例
2019/04/09 Python
python多线程并发实例及其优化
2019/06/27 Python
Python中list循环遍历删除数据的正确方法
2019/09/02 Python
python正则表达式的懒惰匹配和贪婪匹配说明
2020/07/13 Python
Pycharm同步远程服务器调试的方法步骤
2020/11/04 Python
意大利运动服减价商店:ScontoSport
2020/03/10 全球购物
怎样在 Applet 中建立自己的菜单(MenuBar/Menu)?
2012/06/20 面试题
高考升学宴答谢词
2015/01/20 职场文书
2016年企业先进员工事迹材料
2016/02/25 职场文书
一篇合格的广告文案,其主要目的是什么?
2019/07/12 职场文书