Keras 实现加载预训练模型并冻结网络的层


Posted in Python onJune 15, 2020

在解决一个任务时,我会选择加载预训练模型并逐步fine-tune。比如,分类任务中,优异的深度学习网络有很多。

ResNet, VGG, Xception等等... 并且这些模型参数已经在imagenet数据集中训练的很好了,可以直接拿过来用。

根据自己的任务,训练一下最后的分类层即可得到比较好的结果。此时,就需要“冻结”预训练模型的所有层,即这些层的权重永不会更新。

以Xception为例:

加载预训练模型:

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))

include_top = False : 不包含顶层的3个全链接网络

weights : 加载预训练权重

随后,根据自己的分类任务加一层网络即可。

网络具体参数:

model.summary

得到两个网络层,第一层是xception层,第二层为分类层。

由于未冻结任何层,trainable params为:20, 811, 050

Keras 实现加载预训练模型并冻结网络的层

冻结网络层:

由于第一层为xception,不想更新xception层的参数,可以加以下代码:

model.layers[0].trainable = False

Keras 实现加载预训练模型并冻结网络的层

冻结预训练模型中的层

如果想冻结xception中的部分层,可以如下操作:

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))
for i, layer in enumerate(model.layers[0].layers):
 if i > 115:
 layer.trainable = True
 else:
 layer.trainable = False
 print(i, layer.name, layer.trainable)

Keras 实现加载预训练模型并冻结网络的层

Keras 实现加载预训练模型并冻结网络的层

加载所有预训练模型的层

若想把xeption的所有层应用在训练自己的数据,并改变分类数。可以如下操作:

model = Sequential()
model.add(Xception(include_top=True, weights=None, classes=NUM_CLASS))

* 如果想指定classes,有两个条件:include_top:True, weights:None。否则无法指定classes

补充知识:如何利用预训练模型进行模型微调(如冻结某些层,不同层设置不同学习率等)

由于预训练模型权重和我们要训练的数据集存在一定的差异,且需要训练的数据集有大有小,所以进行模型微调、设置不同学习率就变得比较重要,下面主要分四种情况进行讨论,错误之处或者不足之处还请大佬们指正。

(1)待训练数据集较小,与预训练模型数据集相似度较高时。例如待训练数据集中数据存在于预训练模型中时,不需要重新训练模型,只需要修改最后一层输出层即可。

(2)待训练数据集较小,与预训练模型数据集相似度较小时。可以冻结模型的前k层,重新模型的后n-k层。冻结模型的前k层,用于弥补数据集较小的问题。

(3)待训练数据集较大,与预训练模型数据集相似度较大时。采用预训练模型会非常有效,保持模型结构不变和初始权重不变,对模型重新训练

(4)待训练数据集较大,与预训练模型数据集相似度较小时。采用预训练模型不会有太大的效果,可以使用预训练模型或者不使用预训练模型,然后进行重新训练。

以上这篇Keras 实现加载预训练模型并冻结网络的层就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现在Linux系统下更改当前进程运行用户
Feb 04 Python
Python获取网页上图片下载地址的方法
Mar 11 Python
Python中list初始化方法示例
Sep 18 Python
利用Python中SocketServer 实现客户端与服务器间非阻塞通信
Dec 15 Python
Python 25行代码实现的RSA算法详解
Apr 10 Python
Python视频爬虫实现下载头条视频功能示例
May 07 Python
python计算两个数的百分比方法
Jun 29 Python
django框架CSRF防护原理与用法分析
Jul 22 Python
python 函数嵌套及多函数共同运行知识点讲解
Mar 03 Python
Kmeans均值聚类算法原理以及Python如何实现
Sep 26 Python
python 将html转换为pdf的几种方法
Dec 29 Python
浅谈Python xlwings 读取Excel文件的正确姿势
Feb 26 Python
Python StringIO及BytesIO包使用方法解析
Jun 15 #Python
Python smtp邮件发送模块用法教程
Jun 15 #Python
pandas数据处理之绘图的实现
Jun 15 #Python
keras中的loss、optimizer、metrics用法
Jun 15 #Python
使用keras实现Precise, Recall, F1-socre方式
Jun 15 #Python
基于python和flask实现http接口过程解析
Jun 15 #Python
基于nexus3配置Python仓库过程详解
Jun 15 #Python
You might like
mysql建立外键
2006/11/25 PHP
PHP数组 为文章加关键字连接 文章内容自动加链接
2011/12/29 PHP
PHP模糊查询的实现方法(推荐)
2016/09/06 PHP
php+croppic.js实现剪切上传图片功能
2018/08/14 PHP
php中isset与empty函数的困惑与用法分析
2019/07/05 PHP
jquery列表拖动排列(由项目提取相当好用)
2014/06/17 Javascript
js中获取时间new Date()的全面介绍
2016/06/20 Javascript
JavaScript的==运算详解
2016/07/20 Javascript
使用nodejs中httpProxy代理时候出现404异常的解决方法
2016/08/15 NodeJs
自动化测试读写64位操作系统的注册表
2016/08/15 Javascript
jQuery插件ajaxFileUpload异步上传文件
2016/10/19 Javascript
React native ListView 增加顶部下拉刷新和底下点击刷新示例
2018/04/27 Javascript
vue实现组件之间传值功能示例
2018/07/13 Javascript
使用pm2部署node生产环境的方法步骤
2019/03/09 Javascript
JavaScript中常用的简洁高级技巧总结
2019/03/10 Javascript
一文快速详解前端框架 Vue 最强大的功能
2019/05/21 Javascript
详解vue-cli3开发Chrome插件实践
2019/05/29 Javascript
JS实现旋转木马轮播图
2020/01/01 Javascript
详解ES6实现类的私有变量的几种写法
2021/02/10 Javascript
[47:02]2018DOTA2亚洲邀请赛3月29日 小组赛B组 VP VS paiN
2018/03/30 DOTA
Selenium定位元素操作示例
2018/08/10 Python
Python中的self用法详解
2019/08/06 Python
代码总结Python2 和 Python3 字符串的区别
2020/01/28 Python
Python学习之路安装pycharm的教程详解
2020/06/17 Python
Python实现图片查找轮廓、多边形拟合、最小外接矩形代码
2020/07/14 Python
彻底解决pip下载pytorch慢的问题方法
2021/03/01 Python
如何配置、使用和清除Smarty缓存
2015/12/23 面试题
什么是重载?CTS、CLS和CLR分别做何解释
2012/05/06 面试题
七年级音乐教学反思
2014/01/26 职场文书
机关党员进社区活动总结
2014/07/05 职场文书
个人对照检查材料思想汇报(四风问题)
2014/09/25 职场文书
党的群众路线教育实践活动对照检查材料思想汇报(党员篇)
2014/09/25 职场文书
2015年转正工作总结范文
2015/04/02 职场文书
2015年世界环境日活动方案
2015/05/05 职场文书
学习型家庭事迹材料(2016精选版)
2016/02/29 职场文书
Mysql如何查看是否使用到索引
2022/12/24 MySQL