Keras 实现加载预训练模型并冻结网络的层


Posted in Python onJune 15, 2020

在解决一个任务时,我会选择加载预训练模型并逐步fine-tune。比如,分类任务中,优异的深度学习网络有很多。

ResNet, VGG, Xception等等... 并且这些模型参数已经在imagenet数据集中训练的很好了,可以直接拿过来用。

根据自己的任务,训练一下最后的分类层即可得到比较好的结果。此时,就需要“冻结”预训练模型的所有层,即这些层的权重永不会更新。

以Xception为例:

加载预训练模型:

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))

include_top = False : 不包含顶层的3个全链接网络

weights : 加载预训练权重

随后,根据自己的分类任务加一层网络即可。

网络具体参数:

model.summary

得到两个网络层,第一层是xception层,第二层为分类层。

由于未冻结任何层,trainable params为:20, 811, 050

Keras 实现加载预训练模型并冻结网络的层

冻结网络层:

由于第一层为xception,不想更新xception层的参数,可以加以下代码:

model.layers[0].trainable = False

Keras 实现加载预训练模型并冻结网络的层

冻结预训练模型中的层

如果想冻结xception中的部分层,可以如下操作:

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))
for i, layer in enumerate(model.layers[0].layers):
 if i > 115:
 layer.trainable = True
 else:
 layer.trainable = False
 print(i, layer.name, layer.trainable)

Keras 实现加载预训练模型并冻结网络的层

Keras 实现加载预训练模型并冻结网络的层

加载所有预训练模型的层

若想把xeption的所有层应用在训练自己的数据,并改变分类数。可以如下操作:

model = Sequential()
model.add(Xception(include_top=True, weights=None, classes=NUM_CLASS))

* 如果想指定classes,有两个条件:include_top:True, weights:None。否则无法指定classes

补充知识:如何利用预训练模型进行模型微调(如冻结某些层,不同层设置不同学习率等)

由于预训练模型权重和我们要训练的数据集存在一定的差异,且需要训练的数据集有大有小,所以进行模型微调、设置不同学习率就变得比较重要,下面主要分四种情况进行讨论,错误之处或者不足之处还请大佬们指正。

(1)待训练数据集较小,与预训练模型数据集相似度较高时。例如待训练数据集中数据存在于预训练模型中时,不需要重新训练模型,只需要修改最后一层输出层即可。

(2)待训练数据集较小,与预训练模型数据集相似度较小时。可以冻结模型的前k层,重新模型的后n-k层。冻结模型的前k层,用于弥补数据集较小的问题。

(3)待训练数据集较大,与预训练模型数据集相似度较大时。采用预训练模型会非常有效,保持模型结构不变和初始权重不变,对模型重新训练

(4)待训练数据集较大,与预训练模型数据集相似度较小时。采用预训练模型不会有太大的效果,可以使用预训练模型或者不使用预训练模型,然后进行重新训练。

以上这篇Keras 实现加载预训练模型并冻结网络的层就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python多进程编程技术实例分析
Sep 16 Python
CentOS 6.5下安装Python 3.5.2(与Python2并存)
Jun 05 Python
快速解决安装python没有scripts文件夹的问题
Apr 03 Python
python基于http下载视频或音频
Jun 20 Python
Python使用pydub库对mp3与wav格式进行互转的方法
Jan 10 Python
解决python3中的requests解析中文页面出现乱码问题
Apr 19 Python
Python3.6+selenium2.53.6自动化测试_读取excel文件的方法
Sep 06 Python
Python 面向对象之封装、继承、多态操作实例分析
Nov 21 Python
python判断无向图环是否存在的示例
Nov 22 Python
使用scrapy ImagesPipeline爬取图片资源的示例代码
Sep 28 Python
python代码实现图书管理系统
Nov 30 Python
python matplotlib工具栏源码探析三之添加、删除自定义工具项的案例详解
Feb 25 Python
Python StringIO及BytesIO包使用方法解析
Jun 15 #Python
Python smtp邮件发送模块用法教程
Jun 15 #Python
pandas数据处理之绘图的实现
Jun 15 #Python
keras中的loss、optimizer、metrics用法
Jun 15 #Python
使用keras实现Precise, Recall, F1-socre方式
Jun 15 #Python
基于python和flask实现http接口过程解析
Jun 15 #Python
基于nexus3配置Python仓库过程详解
Jun 15 #Python
You might like
PHP中把有符号整型转换为无符号整型方法
2015/05/27 PHP
PHP7 windows支持
2021/03/09 PHP
Prototype中dom对象方法汇总
2008/09/17 Javascript
JavaScript访问样式表代码
2010/10/15 Javascript
读jQuery之十 事件模块概述
2011/06/27 Javascript
window.addEventListener来解决让一个js事件执行多个函数
2012/12/26 Javascript
详细介绍8款超实用JavaScript框架
2013/10/25 Javascript
JavaScript通过this变量快速找出用户选中radio按钮的方法
2015/03/23 Javascript
jQuery寻找n以内完全数的方法
2015/06/24 Javascript
超实用的javascript时间处理总结
2016/08/16 Javascript
带你快速理解javascript中的事件模型
2017/08/14 Javascript
JavaScript数组去重的方法总结【12种方法,号称史上最全】
2019/02/28 Javascript
Vue 图片压缩并上传至服务器功能
2020/01/15 Javascript
viewer.js实现图片预览功能
2020/06/24 Javascript
js实现滑动滑块验证登录
2020/07/24 Javascript
Angular+Ionic使用queryParams实现跳转页传值的方法
2020/09/05 Javascript
详解JavaScript执行模型
2020/11/16 Javascript
[46:55]完美世界DOTA2联赛决赛 FTD vs Phoenix 第三场 11.08
2020/11/11 DOTA
django定期执行任务(实例讲解)
2017/11/03 Python
Python 循环语句之 while,for语句详解
2018/04/23 Python
浅谈Pandas:Series和DataFrame间的算术元素
2018/12/22 Python
详解Python中pandas的安装操作说明(傻瓜版)
2019/04/08 Python
Python 存储字符串时节省空间的方法
2019/04/23 Python
python队列原理及实现方法示例
2019/11/27 Python
python3通过qq邮箱发送邮件以及附件
2020/05/20 Python
全球销量第一生发产品:Viviscal
2017/12/21 全球购物
澳大利亚设计的婴儿和女孩的衣服:Oobi
2018/12/16 全球购物
简历中自我评价分享
2013/10/09 职场文书
幼儿园毕业寄语
2014/04/03 职场文书
高中竞选班长演讲稿
2014/04/24 职场文书
小学数学教研活动总结
2014/07/01 职场文书
科级干部群众路线教育实践活动对照检查材料思想汇报
2014/09/20 职场文书
开票员岗位职责
2015/02/12 职场文书
2019职场实习报告该怎么写?
2019/07/01 职场文书
不要在HTML中滥用div
2021/05/08 HTML / CSS
Golang 字符串的常见操作
2022/04/19 Golang