keras和tensorflow使用fit_generator 批次训练操作


Posted in Python onJuly 03, 2020

fit_generator 是 keras 提供的用来进行批次训练的函数,使用方法如下:

model.fit_generator(generator, steps_per_epoch=None, epochs=1,
    verbose=1, callbacks=None, validation_data=None, validation_steps=None,
    class_weight=None, max_queue_size=10, workers=1, use_multiprocessing=False,
    shuffle=True, initial_epoch=0)

参数说明:

generator: 一个生成器,或者一个 Sequence (keras.utils.Sequence) 对象的实例, 以在使用多进程时避免数据的重复。 生成器的输出应该为以下之一:

一个(inputs, targets) 元组

一个 (inputs, targets, sample_weights) 元组。

这个元组(生成器的单个输出)组成了单个的 batch。 因此,这个元组中的所有数组长度必须相同(与这一个 batch 的大小相等)。 不同的 batch 可能大小不同。 例如,一个 epoch 的最后一个 batch 往往比其他 batch 要小, 如果数据集的尺寸不能被 batch size 整除。 生成器将无限地在数据集上循环。当运行到第steps_per_epoch 时,记一个 epoch 结束。

steps_per_epoch: 在声明一个 epoch 完成并开始下一个 epoch 之前从 generator产生的总步数(批次样本)。 它通常应该等于你的数据集的样本数量除以批量大小。 对于Sequence,它是可选的:如果未指定,将使用len(generator)作为步数。

epochs: 整数。训练模型的迭代总轮数。一个 epoch 是对所提供的整个数据的一轮迭代,如 steps_per_epoch 所定义。注意,与 initial_epoch 一起使用,epoch 应被理解为「最后一轮」。模型没有经历由 epochs 给出的多次迭代的训练,而仅仅是直到达到索引 epoch 的轮次。

verbose: 0, 1 或 2。日志显示模式。 0 = 安静模式, 1 = 进度条, 2 = 每轮一行。

callbacks: keras.callbacks.Callback 实例的列表。在训练时调用的一系列回调函数。

validation_data: 它可以是以下之一:

验证数据的生成器或Sequence实例

一个(inputs, targets) 元组

一个(inputs, targets, sample_weights) 元组。

在每个 epoch 结束时评估损失和任何模型指标。该模型不会对此数据进行训练。

validation_steps: 仅当 validation_data 是一个生成器时才可用。 在停止前 generator 生成的总步数(样本批数)。 对于 Sequence,它是可选的:如果未指定,将使用 len(generator) 作为步数。

class_weight: 可选的将类索引(整数)映射到权重(浮点)值的字典,用于加权损失函数(仅在训练期间)。 这可以用来告诉模型「更多地关注」来自代表性不足的类的样本。

max_queue_size: 整数。生成器队列的最大尺寸。 如未指定,max_queue_size 将默认为 10。

workers: 整数。使用的最大进程数量,如果使用基于进程的多线程。 如未指定,workers 将默认为 1。如果为 0,将在主线程上执行生成器。

use_multiprocessing: 布尔值。如果 True,则使用基于进程的多线程。 如未指定, use_multiprocessing 将默认为 False。 请注意,由于此实现依赖于多进程,所以不应将不可传递的参数传递给生成器,因为它们不能被轻易地传递给子进程。

shuffle: 是否在每轮迭代之前打乱 batch 的顺序。 只能与 Sequence (keras.utils.Sequence) 实例同用。

initial_epoch: 开始训练的轮次(有助于恢复之前的训练)。

补充知识:Keras中fit_generator 的多个分支输入时,需注意generator的格式 以及 输入序列的顺序

需要注意迭代器 yeild返回不能是[x1,x2],y 这样,而是要完整的字典格式的:

yield ({'input_1': x1, 'input_2': x2}, {'output': y})

这也不算坑 追进去 fit_generator也能看到示例

def generate_batch(x_train,y_train,batch_size,x_train2,randomFlag=True):
 ylen = len(y_train)
 loopcount = ylen // batch_size
 i=-1
 while True:
  if randomFlag:
   i = random.randint(0,loopcount-1)
  else:
   i=i+1
   i=i%loopcount

  yield ({'lstmInput': x_train[i*batch_size:(i+1)*batch_size], 
    'bgInput': x_train2[i*batch_size:(i+1)*batch_size]}, 
   {'prediction': y_train[i*batch_size:(i+1)*batch_size]})

ps: 因为要是tuple yield后的括号不能省

需注意的坑1是,validation data中如果用【】组成数组进行输入,是要按顺序的,按编译model前的设置model = Model(inputs=[simInput,lstmInput,bgInput], outputs=predictions),中数组的顺序来编译

需注意的坑2是,多输入input时,以后都用 inputs1=Input(batch_shape=(batchSize,TPeriod,dimIn,),name='input1LSTM')指定batchSize,不然跟stateful lstm结合时,会提示不匹配。

history=model.fit_generator(generate_batch(trainX,trainY,batchSize,trainX2),
   steps_per_epoch=len(trainX)//batchSize,
   validation_data=([testX,testX2],testY),
   epochs=epochs,
   callbacks=[tensorboard,checkpoint],initial_epoch=0,verbose=1) # Fit the LSTM network/拟合LSTM网络

以上这篇keras和tensorflow使用fit_generator 批次训练操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Linux下为不同版本python安装第三方库
Aug 31 Python
Python多维/嵌套字典数据无限遍历的实现
Nov 04 Python
python 使用get_argument获取url query参数
Apr 28 Python
Python实现的rsa加密算法详解
Jan 24 Python
python如何定义带参数的装饰器
Mar 20 Python
对Python定时任务的启动和停止方法详解
Feb 19 Python
Python3列表内置方法大全及示例代码小结
May 10 Python
PyQt4 treewidget 选择改变颜色,并设置可编辑的方法
Jun 17 Python
基于python操作ES实例详解
Nov 16 Python
面向新手解析python Beautiful Soup基本用法
Jul 11 Python
详解使用Python写一个向数据库填充数据的小工具(推荐)
Sep 11 Python
Python3.9新特性详解
Oct 10 Python
基于Python+QT的gui程序开发实现
Jul 03 #Python
keras 两种训练模型方式详解fit和fit_generator(节省内存)
Jul 03 #Python
一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系
Jul 03 #Python
keras分类模型中的输入数据与标签的维度实例
Jul 03 #Python
keras自动编码器实现系列之卷积自动编码器操作
Jul 03 #Python
Python with语句用法原理详解
Jul 03 #Python
Keras搭建自编码器操作
Jul 03 #Python
You might like
vBulletin Forum 2.3.xx SQL Injection
2006/10/09 PHP
关于svn冲突的解决方法
2013/06/21 PHP
PHP的变量类型和作用域详解
2014/03/12 PHP
用JS实现一个TreeMenu效果分享
2011/08/28 Javascript
javascript时间自动刷新实现原理与步骤
2013/01/06 Javascript
js实现幻灯片播放图片示例代码
2013/11/07 Javascript
使用js解决由border属性引起的div宽度问题
2013/11/26 Javascript
nodejs分页类代码分享
2014/06/17 NodeJs
浅谈Javascript数组的使用
2015/07/29 Javascript
js实现文本框宽度自适应文本宽度的方法
2015/08/13 Javascript
BootStrap modal模态弹窗使用小结
2016/10/26 Javascript
jquery文字填写自动高度的实现方法
2016/11/07 Javascript
Node.js连接MongoDB数据库产生的问题
2017/02/08 Javascript
详解Vue.js搭建路由报错 router.map is not a function
2017/06/27 Javascript
JavaScript与Java正则表达式写法的区别介绍
2017/08/15 Javascript
vue2.0 实现导航守卫的具体用法(路由守卫)
2018/05/17 Javascript
AngularJS实现的base64编码与解码功能示例
2018/05/17 Javascript
微信小程序实现折叠与展开文章功能
2018/06/12 Javascript
详解在vue-cli3.0中自定css、js和图片的打包路径
2019/08/26 Javascript
JavaScript的变量声明与声明提前用法实例分析
2019/11/26 Javascript
vue实现数字动态翻牌的效果(开箱即用)
2019/12/08 Javascript
ES2020系列之空值合并运算符 '??'
2020/07/22 Javascript
NodeJS模块Buffer原理及使用方法解析
2020/11/11 NodeJs
Python实现在线暴力破解邮箱账号密码功能示例【测试可用】
2017/09/06 Python
Python制作豆瓣图片的爬虫
2017/12/28 Python
pandas 把数据写入txt文件每行固定写入一定数量的值方法
2018/12/28 Python
Python 循环终止语句的三种方法小结
2019/06/24 Python
使用CSS3编写类似iOS中的复选框及带开关的按钮
2016/04/11 HTML / CSS
Bata印度官网:源自欧洲舒适鞋履品牌
2020/01/30 全球购物
建筑工程技术应届生自荐信
2013/09/27 职场文书
药学专业大学生自荐信
2013/09/28 职场文书
农村葬礼主持词
2014/03/31 职场文书
党员群众路线对照检查材料
2014/08/31 职场文书
2014年后备干部工作总结
2014/12/08 职场文书
纪录片信仰观后感
2015/06/08 职场文书
Pytorch中expand()的使用(扩展某个维度)
2022/07/15 Python