python PyTorch预训练示例


Posted in Python onFebruary 11, 2018

前言

最近使用PyTorch感觉妙不可言,有种当初使用Keras的快感,而且速度还不慢。各种设计直接简洁,方便研究,比tensorflow的臃肿好多了。今天让我们来谈谈PyTorch的预训练,主要是自己写代码的经验以及论坛PyTorch Forums上的一些回答的总结整理。

直接加载预训练模型

如果我们使用的模型和原模型完全一样,那么我们可以直接加载别人训练好的模型:

my_resnet = MyResNet(*args, **kwargs)
my_resnet.load_state_dict(torch.load("my_resnet.pth"))

当然这样的加载方法是基于PyTorch推荐的存储模型的方法:

torch.save(my_resnet.state_dict(), "my_resnet.pth")

还有第二种加载方法:

my_resnet = torch.load("my_resnet.pth")

加载部分预训练模型

其实大多数时候我们需要根据我们的任务调节我们的模型,所以很难保证模型和公开的模型完全一样,但是预训练模型的参数确实有助于提高训练的准确率,为了结合二者的优点,就需要我们加载部分预训练模型。

pretrained_dict = model_zoo.load_url(model_urls['resnet152'])
model_dict = model.state_dict()
# 将pretrained_dict里不属于model_dict的键剔除掉
pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}
# 更新现有的model_dict
model_dict.update(pretrained_dict)
# 加载我们真正需要的state_dict
model.load_state_dict(model_dict)

因为需要剔除原模型中不匹配的键,也就是层的名字,所以我们的新模型改变了的层需要和原模型对应层的名字不一样,比如:resnet最后一层的名字是fc(PyTorch中),那么我们修改过的resnet的最后一层就不能取这个名字,可以叫fc_

微改基础模型预训练

对于改动比较大的模型,我们可能需要自己实现一下再加载别人的预训练参数。但是,对于一些基本模型PyTorch中已经有了,而且我只想进行一些小的改动那么怎么办呢?难道我又去实现一遍吗?当然不是。

我们首先看看怎么进行微改模型。

微改基础模型

PyTorch中的torchvision里已经有很多常用的模型了,可以直接调用:

  1. AlexNet
  2. VGG
  3. ResNet
  4. SqueezeNet
  5. DenseNet
import torchvision.models as models

resnet18 = models.resnet18()
alexnet = models.alexnet()
squeezenet = models.squeezenet1_0()
densenet = models.densenet_161()

但是对于我们的任务而言有些层并不是直接能用,需要我们微微改一下,比如,resnet最后的全连接层是分1000类,而我们只有21类;又比如,resnet第一层卷积接收的通道是3, 我们可能输入图片的通道是4,那么可以通过以下方法修改:

resnet.conv1 = nn.Conv2d(4, 64, kernel_size=7, stride=2, padding=3, bias=False)
resnet.fc = nn.Linear(2048, 21)

简单预训练

模型已经改完了,接下来我们就进行简单预训练吧。

我们先从torchvision中调用基本模型,加载预训练模型,然后,重点来了,将其中的层直接替换为我们需要的层即可:

resnet = torchvision.models.resnet152(pretrained=True)
# 原本为1000类,改为10类
resnet.fc = torch.nn.Linear(2048, 10)

其中使用了pretrained参数,会直接加载预训练模型,内部实现和前文提到的加载预训练的方法一样。因为是先加载的预训练参数,相当于模型中已经有参数了,所以替换掉最后一层即可。OK!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
c++生成dll使用python调用dll的方法
Jan 20 Python
在Python中利用Pandas库处理大数据的简单介绍
Apr 07 Python
利用numpy+matplotlib绘图的基本操作教程
May 03 Python
Python 中的range(),以及列表切片方法
Jul 02 Python
在django中图片上传的格式校验及大小方法
Jul 28 Python
python 字典有序并写入json文件过程解析
Sep 30 Python
基于FME使用Python过程图解
May 13 Python
python和php哪个容易学
Jun 19 Python
pytorch 计算ConvTranspose1d输出特征大小方式
Jun 23 Python
简单的Python人脸识别系统
Jul 14 Python
Pycharm操作Git及GitHub的步骤详解
Oct 27 Python
Python中Cookies导出某站用户数据的方法
May 17 Python
TensorFlow中权重的随机初始化的方法
Feb 11 #Python
python的staticmethod与classmethod实现实例代码
Feb 11 #Python
Python语言的变量认识及操作方法
Feb 11 #Python
利用Opencv中Houghline方法实现直线检测
Feb 11 #Python
tensorflow输出权重值和偏差的方法
Feb 10 #Python
详解tensorflow实现迁移学习实例
Feb 10 #Python
Python学习之Django的管理界面代码示例
Feb 10 #Python
You might like
PHP学习 变量使用总结
2011/03/24 PHP
php中call_user_func函数使用注意事项
2014/11/21 PHP
Laravel框架Request、Response及Session操作示例
2019/05/06 PHP
Json对象替换字符串占位符实现代码
2010/11/17 Javascript
JQuery中判断一个元素下面是否有内容或者有某个标签的判断代码
2012/02/02 Javascript
js实现瀑布流的一种简单方法实例分享
2013/11/04 Javascript
查找页面中所有类为test的结点的方法
2014/03/28 Javascript
基于jQuery Ajax实现上传文件
2016/03/24 Javascript
vue.js利用defineProperty实现数据的双向绑定
2017/04/28 Javascript
underscore之function_动力节点Java学院整理
2017/07/11 Javascript
JavaScript实现简单的文本逐字打印效果示例
2018/04/12 Javascript
VUE实现图片验证码功能
2020/11/18 Javascript
vue视频播放插件vue-video-player的具体使用方法
2019/11/08 Javascript
微信小程序接入腾讯云验证码的方法步骤
2020/01/07 Javascript
vue Element左侧无限级菜单实现
2020/06/10 Javascript
vue将文件/图片批量打包下载zip的教程
2020/10/21 Javascript
浅谈Vue static 静态资源路径 和 style问题
2020/11/07 Javascript
[06:25]DOTA2英雄梦之声_第17期_大地之灵
2014/06/20 DOTA
[04:04]DOTA2亚洲邀请赛比赛场馆&酒店全攻略
2017/03/23 DOTA
wxPython 入门教程
2008/10/07 Python
介绍Python的@property装饰器的用法
2015/04/28 Python
python处理数据,存进hive表的方法
2018/07/04 Python
Python实现购物评论文本情感分析操作【基于中文文本挖掘库snownlp】
2018/08/07 Python
Python3 合并二叉树的实现
2019/09/30 Python
canvas基础之图形验证码的示例
2018/01/02 HTML / CSS
委托书范本
2014/04/02 职场文书
节约用电标语
2014/06/17 职场文书
2014年质量管理工作总结
2014/12/01 职场文书
2015大学生求职信范文
2015/03/20 职场文书
女方家长婚礼答谢词
2015/09/29 职场文书
大学学习委员竞选稿
2015/11/20 职场文书
幼儿园科学课教学反思
2016/03/03 职场文书
德劲DE1108畅想
2021/04/22 无线电
MySQL 角色(role)功能介绍
2021/04/24 MySQL
Redis监控工具RedisInsight安装与使用
2022/03/21 Redis
Python matplotlib绘制雷达图
2022/04/13 Python