Keras 实现加载预训练模型并冻结网络的层


Posted in Python onJune 15, 2020

在解决一个任务时,我会选择加载预训练模型并逐步fine-tune。比如,分类任务中,优异的深度学习网络有很多。

ResNet, VGG, Xception等等... 并且这些模型参数已经在imagenet数据集中训练的很好了,可以直接拿过来用。

根据自己的任务,训练一下最后的分类层即可得到比较好的结果。此时,就需要“冻结”预训练模型的所有层,即这些层的权重永不会更新。

以Xception为例:

加载预训练模型:

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))

include_top = False : 不包含顶层的3个全链接网络

weights : 加载预训练权重

随后,根据自己的分类任务加一层网络即可。

网络具体参数:

model.summary

得到两个网络层,第一层是xception层,第二层为分类层。

由于未冻结任何层,trainable params为:20, 811, 050

Keras 实现加载预训练模型并冻结网络的层

冻结网络层:

由于第一层为xception,不想更新xception层的参数,可以加以下代码:

model.layers[0].trainable = False

Keras 实现加载预训练模型并冻结网络的层

冻结预训练模型中的层

如果想冻结xception中的部分层,可以如下操作:

from tensorflow.python.keras.applications import Xception
model = Sequential()
model.add(Xception(include_top=False, pooling='avg', weights='imagenet'))
model.add(Dense(NUM_CLASS, activation='softmax'))
for i, layer in enumerate(model.layers[0].layers):
 if i > 115:
 layer.trainable = True
 else:
 layer.trainable = False
 print(i, layer.name, layer.trainable)

Keras 实现加载预训练模型并冻结网络的层

Keras 实现加载预训练模型并冻结网络的层

加载所有预训练模型的层

若想把xeption的所有层应用在训练自己的数据,并改变分类数。可以如下操作:

model = Sequential()
model.add(Xception(include_top=True, weights=None, classes=NUM_CLASS))

* 如果想指定classes,有两个条件:include_top:True, weights:None。否则无法指定classes

补充知识:如何利用预训练模型进行模型微调(如冻结某些层,不同层设置不同学习率等)

由于预训练模型权重和我们要训练的数据集存在一定的差异,且需要训练的数据集有大有小,所以进行模型微调、设置不同学习率就变得比较重要,下面主要分四种情况进行讨论,错误之处或者不足之处还请大佬们指正。

(1)待训练数据集较小,与预训练模型数据集相似度较高时。例如待训练数据集中数据存在于预训练模型中时,不需要重新训练模型,只需要修改最后一层输出层即可。

(2)待训练数据集较小,与预训练模型数据集相似度较小时。可以冻结模型的前k层,重新模型的后n-k层。冻结模型的前k层,用于弥补数据集较小的问题。

(3)待训练数据集较大,与预训练模型数据集相似度较大时。采用预训练模型会非常有效,保持模型结构不变和初始权重不变,对模型重新训练

(4)待训练数据集较大,与预训练模型数据集相似度较小时。采用预训练模型不会有太大的效果,可以使用预训练模型或者不使用预训练模型,然后进行重新训练。

以上这篇Keras 实现加载预训练模型并冻结网络的层就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python制作获取网站目录的图形化程序
May 04 Python
在Lighttpd服务器中运行Django应用的方法
Jul 22 Python
通过实例浅析Python对比C语言的编程思想差异
Aug 30 Python
Python批量创建迅雷任务及创建多个文件
Feb 13 Python
详解字典树Trie结构及其Python代码实现
Jun 03 Python
在VS Code上搭建Python开发环境的方法
Apr 06 Python
详解Python 字符串相似性的几种度量方法
Aug 29 Python
多版本python的pip 升级后, pip2 pip3 与python版本失配解决方法
Sep 11 Python
Python函数参数定义及传递方式解析
Jun 10 Python
Python select及selectors模块概念用法详解
Jun 22 Python
python非标准时间的转换
Jul 25 Python
python实现简单石头剪刀布游戏
Oct 24 Python
Python StringIO及BytesIO包使用方法解析
Jun 15 #Python
Python smtp邮件发送模块用法教程
Jun 15 #Python
pandas数据处理之绘图的实现
Jun 15 #Python
keras中的loss、optimizer、metrics用法
Jun 15 #Python
使用keras实现Precise, Recall, F1-socre方式
Jun 15 #Python
基于python和flask实现http接口过程解析
Jun 15 #Python
基于nexus3配置Python仓库过程详解
Jun 15 #Python
You might like
深入php常用函数的使用汇总
2013/06/08 PHP
PHP中使用memcache存储session的三种配置方法
2014/04/05 PHP
HTA版JSMin(省略修饰语若干)基于javascript语言编写
2009/12/24 Javascript
完美兼容各大浏览器获取HTTP_REFERER方法总结
2014/06/24 Javascript
js实现三张图(文)片一起切换的banner焦点图
2015/08/25 Javascript
jQuery多条件筛选如何实现
2015/11/04 Javascript
JavaScript实现字符串与日期的互相转换及日期的格式化
2016/03/07 Javascript
ES2015 Symbol 一种绝不重复的值
2016/12/25 Javascript
Angular 2父子组件数据传递之@Input和@Output详解 (上)
2017/07/05 Javascript
Angular 封装并发布组件的方法示例
2018/04/19 Javascript
vue自定义指令的创建和使用方法实例分析
2018/12/04 Javascript
微信小程序开发打开另一个小程序的实现方法
2020/05/17 Javascript
不依任何赖第三方,单纯用vue实现Tree 树形控件的案例
2020/09/21 Javascript
js闭包和垃圾回收机制示例详解
2021/03/01 Javascript
[01:06:39]DOTA2上海特级锦标赛主赛事日 - 1 胜者组第一轮#1Liquid VS Alliance第三局
2016/03/02 DOTA
[48:31]完美世界DOTA2联赛PWL S3 DLG vs Phoenix 第二场 12.17
2020/12/19 DOTA
编写Python脚本把sqlAlchemy对象转换成dict的教程
2015/05/29 Python
Python 专题五 列表基础知识(二维list排序、获取下标和处理txt文本实例)
2017/03/20 Python
Python数据分析库pandas基本操作方法
2018/04/08 Python
python在openstreetmap地图上绘制路线图的实现
2019/07/11 Python
使用phonegap克隆和删除联系人的实现方法
2017/03/31 HTML / CSS
英国电子产品购物网站:TobyDeals
2018/07/30 全球购物
香港现代设计家具品牌:Ziinlife Furniture
2018/11/13 全球购物
MAC Cosmetics官方网站:魅可专业艺术彩妆
2019/04/10 全球购物
C#面试问题
2016/07/29 面试题
一道输出判断型Java面试题
2014/10/01 面试题
信息管理员岗位职责
2013/12/01 职场文书
共产党员岗位承诺书
2014/05/29 职场文书
活动总结报告怎么写
2014/07/03 职场文书
党的群众路线教育实践活动心得体会(企业)
2014/11/03 职场文书
2015年大学班主任工作总结
2015/04/30 职场文书
心术观后感
2015/06/11 职场文书
企业内部管理控制:采购授权审批制度范本
2020/01/19 职场文书
Python中tkinter的用户登录管理的实现
2021/04/22 Python
从np.random.normal()到正态分布的拟合操作
2021/06/02 Python
python如何为list实现find方法
2022/05/30 Python