keras 回调函数Callbacks 断点ModelCheckpoint教程


Posted in Python onJune 18, 2020

整理自keras:https://keras-cn.readthedocs.io/en/latest/other/callbacks/

回调函数Callbacks

回调函数是一个函数的合集,会在训练的阶段中所使用。你可以使用回调函数来查看训练模型的内在状态和统计。你可以传递一个列表的回调函数(作为 callbacks 关键字参数)到 Sequential 或 Model 类型的 .fit() 方法。在训练时,相应的回调函数的方法就会被在各自的阶段被调用。

Callback

keras.callbacks.Callback()

这是回调函数的抽象类,定义新的回调函数必须继承自该类

类属性

params:字典,训练参数集(如信息显示方法verbosity,batch大小,epoch数)

model:keras.models.Model对象,为正在训练的模型的引用

回调函数以字典logs为参数,该字典包含了一系列与当前batch或epoch相关的信息。

目前,模型的.fit()中有下列参数会被记录到logs中:

在每个epoch的结尾处(on_epoch_end),logs将包含训练的正确率和误差,acc和loss,如果指定了验证集,还会包含验证集正确率和误差val_acc)和val_loss,val_acc还额外需要在.compile中启用metrics=['accuracy']。

在每个batch的开始处(on_batch_begin):logs包含size,即当前batch的样本数

在每个batch的结尾处(on_batch_end):logs包含loss,若启用accuracy则还包含acc

ModelCheckpoint

keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1)

该回调函数将在每个epoch后保存模型到filepath

filepath 可以包括命名格式选项,可以由 epoch 的值和 logs 的键(由 on_epoch_end 参数传递)来填充。

参数:

filepath: 字符串,保存模型的路径。

monitor: 被监测的数据。val_acc或这val_loss

verbose: 详细信息模式,0 或者 1 。0为不打印输出信息,1打印

save_best_only: 如果 save_best_only=True, 将只保存在验证集上性能最好的模型

mode: {auto, min, max} 的其中之一。 如果 save_best_only=True,那么是否覆盖保存文件的决定就取决于被监测数据的最大或者最小值。 对于 val_acc,模式就会是 max,而对于 val_loss,模式就需要是 min,等等。 在 auto 模式中,方向会自动从被监测的数据的名字中判断出来。

save_weights_only: 如果 True,那么只有模型的权重会被保存 (model.save_weights(filepath)), 否则的话,整个模型会被保存 (model.save(filepath))。

period: 每个检查点之间的间隔(训练轮数)。

代码实现过程:

① 从keras.callbacks导入ModelCheckpoint类

from keras.callbacks import ModelCheckpoint

② 在训练阶段的model.compile之后加入下列代码实现每一次epoch(period=1)保存最好的参数

checkpoint = ModelCheckpoint(filepath,
monitor='val_loss', save_weights_only=True,verbose=1,save_best_only=True, period=1)

③ 在训练阶段的model.fit之前加载先前保存的参数

if os.path.exists(filepath):
 model.load_weights(filepath)
 # 若成功加载前面保存的参数,输出下列信息
 print("checkpoint_loaded")

④ 在model.fit添加callbacks=[checkpoint]实现回调

model.fit_generator(data_generator_wrap(lines[:num_train], batch_size, input_shape, anchors, num_classes),
 steps_per_epoch=max(1, num_train//batch_size),
 validation_data=data_generator_wrap(lines[num_train:], batch_size, input_shape, anchors, num_classes),
 validation_steps=max(1, num_val//batch_size),
 epochs=3,
 initial_epoch=0,
 callbacks=[checkpoint])

补充知识:keras之多输入多输出(多任务)模型

keras多输入多输出模型,以keras官网的demo为例,分析keras多输入多输出的适用。

主要输入(main_input): 新闻标题本身,即一系列词语。

辅助输入(aux_input): 接受额外的数据,例如新闻标题的发布时间等。

该模型将通过两个损失函数进行监督学习。

较早地在模型中使用主损失函数,是深度学习模型的一个良好正则方法。

完整过程图示如下:

keras 回调函数Callbacks 断点ModelCheckpoint教程

其中,红圈中的操作为将辅助数据与LSTM层的输出连接起来,输入到模型中。

代码实现:

import keras
from keras.layers import Input, Embedding, LSTM, Dense
from keras.models import Model
 
# 定义网络模型 
# 标题输入:接收一个含有 100 个整数的序列,每个整数在 1 到 10000 之间
# 注意我们可以通过传递一个 `name` 参数来命名任何层
main_input = Input(shape=(100,), dtype='int32', name='main_input')
 
# Embedding 层将输入序列编码为一个稠密向量的序列,每个向量维度为 512
x = Embedding(output_dim=512, input_dim=10000, input_length=100)(main_input)
 
# LSTM 层把向量序列转换成单个向量,它包含整个序列的上下文信息
lstm_out = LSTM(32)(x)
 
# 在这里我们添加辅助损失,使得即使在模型主损失很高的情况下,LSTM层和Embedding层都能被平稳地训练
auxiliary_output = Dense(1, activation='sigmoid', name='aux_output')(lstm_out)
 
# 此时,我们将辅助输入数据与LSTM层的输出连接起来,输入到模型中
auxiliary_input = Input(shape=(5,), name='aux_input')
x = keras.layers.concatenate([lstm_out, auxiliary_output])
 
# 再添加剩余的层
# 堆叠多个全连接网络层
x = Dense(64, activation='relu')(x)
x = Dense(64, activation='relu')(x)
x = Dense(64, activation='relu')(x)
 
# 最后添加主要的逻辑回归层
main_output = Dense(1, activation='sigmoid', name='main_output')(x)
 
# 定义这个具有两个输入和输出的模型
model = Model(inputs=[main_input, auxiliary_input], outputs=[main_output, auxiliary_output])
 
# 编译模型时候分配损失函数权重:编译模型的时候,给 辅助损失 分配一个0.2的权重
model.compile(optimizer='rmsprop', loss='binary_crossentropy', loss_weights=[1., 0.2])
 
# 训练模型:我们可以通过传递输入数组和目标数组的列表来训练模型
model.fit([headline_data, additional_data], [labels, labels], epochs=50, batch_size=32)
 
# 另外一种利用字典的编译、训练方式
# 由于输入和输出均被命名了(在定义时传递了一个 name 参数),我们也可以通过以下方式编译模型
model.compile(optimizer='rmsprop',
    loss={'main_output': 'binary_crossentropy', 'aux_output': 'binary_crossentropy'},
    loss_weights={'main_output': 1., 'aux_output': 0.2})
# 然后使用以下方式训练:
model.fit({'main_input': headline_data, 'aux_input': additional_data},
   {'main_output': labels, 'aux_output': labels},
   epochs=50, batch_size=32)

相关参考:https://keras.io/zh/getting-started/functional-api-guide/

以上这篇keras 回调函数Callbacks 断点ModelCheckpoint教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的使用telnet登陆聊天室实例
Jun 17 Python
python获取一组汉字拼音首字母的方法
Jul 01 Python
Python实现查找匹配项作处理后再替换回去的方法
Jun 10 Python
python利用小波分析进行特征提取的实例
Jan 09 Python
Python 分发包中添加额外文件的方法
Aug 16 Python
python django中8000端口被占用的解决
Dec 17 Python
Pytorch中的VGG实现修改最后一层FC
Jan 15 Python
python实现飞船大战
Apr 24 Python
浅谈python opencv对图像颜色通道进行加减操作溢出
Jun 03 Python
最简单的matplotlib安装教程(小白)
Jul 28 Python
Python爬虫获取豆瓣电影并写入excel
Jul 31 Python
解决import tensorflow导致jupyter内核死亡的问题
Feb 06 Python
浅谈keras.callbacks设置模型保存策略
Jun 18 #Python
用python实现名片管理系统
Jun 18 #Python
Python 为什么推荐蛇形命名法原因浅析
Jun 18 #Python
python退出循环的方法
Jun 18 #Python
keras实现多GPU或指定GPU的使用介绍
Jun 17 #Python
Python字符串格式化常用手段及注意事项
Jun 17 #Python
python代码区分大小写吗
Jun 17 #Python
You might like
php之CodeIgniter学习笔记
2013/06/17 PHP
PHP使用Redis长连接的方法详解
2018/02/12 PHP
laravel中的fillable和guarded属性详解
2019/10/23 PHP
能说明你的Javascript技术很烂的五个原因分析
2011/10/28 Javascript
javascript实现yield的方法
2013/11/06 Javascript
jquery ajax应用中iframe自适应高度问题解决方法
2014/04/12 Javascript
jquery实现表单验证并阻止非法提交
2015/07/09 Javascript
老生常谈遮罩层 滚动条的问题
2016/04/29 Javascript
js中遍历Map对象的方法
2016/07/27 Javascript
jquery checkbox的相关操作总结
2016/10/17 Javascript
百度地图API之百度地图退拽标记点获取经纬度的实现代码
2017/01/12 Javascript
浅谈React和Redux的连接react-redux
2017/12/04 Javascript
vue获取元素宽、高、距离左边距离,右,上距离等还有XY坐标轴的方法
2018/09/05 Javascript
如何从0开始用node写一个自己的命令行程序
2018/12/29 Javascript
详解vue的双向绑定原理及实现
2019/05/05 Javascript
Jquery ajax书写方法代码实例解析
2020/06/12 jQuery
解决vue中的无限循环问题
2020/07/27 Javascript
Vue绑定用户接口实现代码示例
2020/11/04 Javascript
Python切片用法实例教程
2014/09/08 Python
python使用Image处理图片常用技巧分析
2015/06/01 Python
Python实现比较扑克牌大小程序代码示例
2017/12/06 Python
python解决pandas处理缺失值为空字符串的问题
2018/04/08 Python
Python登录注册验证功能实现
2018/06/18 Python
Python基于plotly模块实现的画图操作示例
2019/01/23 Python
python实现自动化报表功能(Oracle/plsql/Excel/多线程)
2019/12/02 Python
Python集成开发工具Pycharm的安装和使用详解
2020/03/18 Python
Python函数递归调用实现原理实例解析
2020/08/11 Python
python 基于selenium实现鼠标拖拽功能
2020/12/24 Python
python中常用的数据结构介绍
2021/01/12 Python
党的群众路线教育实践活动个人批评与自我批评
2014/10/16 职场文书
2016年会开场白台词
2015/06/01 职场文书
2016三八妇女节校园广播稿
2015/12/17 职场文书
alibaba seata服务端具体实现
2022/02/24 Java/Android
Java 常见的限流算法详细分析并实现
2022/04/07 Java/Android
Vscode中SSH插件如何远程连接Linux
2022/05/02 Servers
CSS中使用grid布局实现一套模板多种布局
2022/07/15 HTML / CSS