python PyTorch预训练示例


Posted in Python onFebruary 11, 2018

前言

最近使用PyTorch感觉妙不可言,有种当初使用Keras的快感,而且速度还不慢。各种设计直接简洁,方便研究,比tensorflow的臃肿好多了。今天让我们来谈谈PyTorch的预训练,主要是自己写代码的经验以及论坛PyTorch Forums上的一些回答的总结整理。

直接加载预训练模型

如果我们使用的模型和原模型完全一样,那么我们可以直接加载别人训练好的模型:

my_resnet = MyResNet(*args, **kwargs)
my_resnet.load_state_dict(torch.load("my_resnet.pth"))

当然这样的加载方法是基于PyTorch推荐的存储模型的方法:

torch.save(my_resnet.state_dict(), "my_resnet.pth")

还有第二种加载方法:

my_resnet = torch.load("my_resnet.pth")

加载部分预训练模型

其实大多数时候我们需要根据我们的任务调节我们的模型,所以很难保证模型和公开的模型完全一样,但是预训练模型的参数确实有助于提高训练的准确率,为了结合二者的优点,就需要我们加载部分预训练模型。

pretrained_dict = model_zoo.load_url(model_urls['resnet152'])
model_dict = model.state_dict()
# 将pretrained_dict里不属于model_dict的键剔除掉
pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}
# 更新现有的model_dict
model_dict.update(pretrained_dict)
# 加载我们真正需要的state_dict
model.load_state_dict(model_dict)

因为需要剔除原模型中不匹配的键,也就是层的名字,所以我们的新模型改变了的层需要和原模型对应层的名字不一样,比如:resnet最后一层的名字是fc(PyTorch中),那么我们修改过的resnet的最后一层就不能取这个名字,可以叫fc_

微改基础模型预训练

对于改动比较大的模型,我们可能需要自己实现一下再加载别人的预训练参数。但是,对于一些基本模型PyTorch中已经有了,而且我只想进行一些小的改动那么怎么办呢?难道我又去实现一遍吗?当然不是。

我们首先看看怎么进行微改模型。

微改基础模型

PyTorch中的torchvision里已经有很多常用的模型了,可以直接调用:

  1. AlexNet
  2. VGG
  3. ResNet
  4. SqueezeNet
  5. DenseNet
import torchvision.models as models

resnet18 = models.resnet18()
alexnet = models.alexnet()
squeezenet = models.squeezenet1_0()
densenet = models.densenet_161()

但是对于我们的任务而言有些层并不是直接能用,需要我们微微改一下,比如,resnet最后的全连接层是分1000类,而我们只有21类;又比如,resnet第一层卷积接收的通道是3, 我们可能输入图片的通道是4,那么可以通过以下方法修改:

resnet.conv1 = nn.Conv2d(4, 64, kernel_size=7, stride=2, padding=3, bias=False)
resnet.fc = nn.Linear(2048, 21)

简单预训练

模型已经改完了,接下来我们就进行简单预训练吧。

我们先从torchvision中调用基本模型,加载预训练模型,然后,重点来了,将其中的层直接替换为我们需要的层即可:

resnet = torchvision.models.resnet152(pretrained=True)
# 原本为1000类,改为10类
resnet.fc = torch.nn.Linear(2048, 10)

其中使用了pretrained参数,会直接加载预训练模型,内部实现和前文提到的加载预训练的方法一样。因为是先加载的预训练参数,相当于模型中已经有参数了,所以替换掉最后一层即可。OK!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python求素数示例分享
Feb 16 Python
Python标准模块--ContextManager上下文管理器的具体用法
Nov 27 Python
Python中的上下文管理器和with语句的使用
Apr 17 Python
python使用rpc框架gRPC的方法
Aug 24 Python
python 获取等间隔的数组实例
Jul 04 Python
Python绘制热力图示例
Sep 27 Python
flask 框架操作MySQL数据库简单示例
Feb 02 Python
Python configparser模块操作代码实例
Jun 08 Python
Python CategoricalDtype自定义排序实现原理解析
Sep 11 Python
python实现学生信息管理系统(精简版)
Nov 27 Python
python 通过pip freeze、dowload打离线包及自动安装的过程详解(适用于保密的离线环境
Dec 14 Python
python使用pymysql模块操作MySQL
Jun 16 Python
TensorFlow中权重的随机初始化的方法
Feb 11 #Python
python的staticmethod与classmethod实现实例代码
Feb 11 #Python
Python语言的变量认识及操作方法
Feb 11 #Python
利用Opencv中Houghline方法实现直线检测
Feb 11 #Python
tensorflow输出权重值和偏差的方法
Feb 10 #Python
详解tensorflow实现迁移学习实例
Feb 10 #Python
Python学习之Django的管理界面代码示例
Feb 10 #Python
You might like
关于php正则匹配汉字的方法介绍
2013/04/25 PHP
JoshChen_web格式编码UTF8-无BOM的小细节分析
2013/08/16 PHP
PHP使用header()输出图片缓存实例
2014/12/09 PHP
php关联数组快速排序的方法
2015/04/17 PHP
使用PHP生成图片的缩略图的方法
2015/08/18 PHP
PHP实现广度优先搜索算法(BFS,Broad First Search)详解
2017/09/16 PHP
php实现JWT(json web token)鉴权实例详解
2019/11/05 PHP
javascript中日期转换成时间戳的小例子
2013/03/21 Javascript
在JavaScript里嵌入大量字符串常量的实现方法
2013/07/07 Javascript
JS 页面计时器示例代码
2013/10/28 Javascript
jquery垂直公告滚动实现代码
2013/12/08 Javascript
js分页代码分享
2014/04/28 Javascript
jQuery手机浏览器中拖拽动作的艰难性分析
2015/02/04 Javascript
javascript常用的方法分享
2015/07/01 Javascript
AngularJS实现路由实例
2017/02/12 Javascript
基于HTML5+JS实现本地图片裁剪并上传功能
2017/03/24 Javascript
JavaScript 程序错误Cannot use 'in' operator to search的解决方法
2017/07/10 Javascript
vue 自定义组件的写法与用法详解
2020/03/04 Javascript
[03:17]DOTA2英雄基础教程 剧毒术士
2013/12/12 DOTA
[47:10]完美世界DOTA2联赛PWL S3 LBZS vs Rebirth 第二场 12.16
2020/12/18 DOTA
Python的多态性实例分析
2015/07/07 Python
Python和JavaScript间代码转换的4个工具
2016/02/22 Python
python中urlparse模块介绍与使用示例
2017/11/19 Python
tensorflow: 查看 tensor详细数值方法
2018/06/13 Python
Python将视频或者动态图gif逐帧保存为图片的方法
2019/09/10 Python
详解字符串在Python内部是如何省内存的
2020/02/03 Python
Python爬虫谷歌Chrome F12抓包过程原理解析
2020/06/04 Python
HTML5对手机页面长按会粘贴复制禁用的解决方法
2016/07/19 HTML / CSS
Viking Direct荷兰:购买办公用品
2019/06/20 全球购物
四议两公开实施方案
2014/03/28 职场文书
感恩老师的演讲稿
2014/05/06 职场文书
食品安全标语
2014/06/07 职场文书
应届大专生自荐书
2014/06/16 职场文书
2015年学校减负工作总结
2015/05/19 职场文书
2016学习医德医风心得体会
2016/01/25 职场文书
解决jupyter notebook启动后没有token的坑
2021/04/24 Python