pytorch 固定部分参数训练的方法


Posted in Python onAugust 17, 2019

pytorch 固定部分参数训练的方法

需要自己过滤

optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3)

另外,如果是Variable,则可以初始化时指定

j = Variable(torch.randn(5,5), requires_grad=True)

但是如果是

m = nn.Linear(10,10)

是没有requires_grad传入的

m.requires_grad也没有

需要

for i in m.parameters():
  i.requires_grad=False

另外一个小技巧就是在nn.Module里,可以在中间插入这个

for p in self.parameters():
  p.requires_grad=False

这样前面的参数就是False,而后面的不变

class Net(nn.Module):
  def __init__(self):
    super(Net, self).__init__()
    self.conv1 = nn.Conv2d(1, 6, 5)
    self.conv2 = nn.Conv2d(6, 16, 5)

    for p in self.parameters():
      p.requires_grad=False

    self.fc1 = nn.Linear(16 * 5 * 5, 120)
    self.fc2 = nn.Linear(120, 84)
    self.fc3 = nn.Linear(84, 10)

以上这篇pytorch 固定部分参数训练的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中bisect模块用法实例
Sep 25 Python
Python编程中的文件读写及相关的文件对象方法讲解
Jan 19 Python
python中实现迭代器(iterator)的方法示例
Jan 19 Python
python读取excel表格生成erlang数据
Aug 26 Python
Python实现的多项式拟合功能示例【基于matplotlib】
May 15 Python
如何利用Boost.Python实现Python C/C++混合编程详解
Nov 08 Python
windows系统中Python多版本与jupyter notebook使用虚拟环境的过程
May 15 Python
Python3 requests文件下载 期间显示文件信息和下载进度代码实例
Aug 16 Python
利用python3 的pygame模块实现塔防游戏
Dec 30 Python
sklearn的predict_proba使用说明
Jun 28 Python
利用PyQt5+Matplotlib 绘制静态/动态图的实现代码
Jul 13 Python
python中字典增加和删除使用方法
Sep 30 Python
python之PyQt按钮右键菜单功能的实现代码
Aug 17 #Python
pytorch 在网络中添加可训练参数,修改预训练权重文件的方法
Aug 17 #Python
python PyQt5/Pyside2 按钮右击菜单实例代码
Aug 17 #Python
Pytorch 实现自定义参数层的例子
Aug 17 #Python
Python中PyQt5/PySide2的按钮控件使用实例
Aug 17 #Python
画pytorch模型图,以及参数计算的方法
Aug 17 #Python
pytorch 共享参数的示例
Aug 17 #Python
You might like
PHP漏洞全解(详细介绍)
2012/11/13 PHP
解析wamp5下虚拟机配置文档
2013/06/27 PHP
php中cookie的使用方法
2014/03/29 PHP
CodeIgniter框架数据库事务处理的设计缺陷和解决方案
2014/07/25 PHP
php json_encode()函数返回json数据实例代码
2014/10/10 PHP
php中Ctype函数用法详解
2014/12/09 PHP
PHP实现抓取迅雷VIP账号的方法
2015/07/30 PHP
网页的分页下标生成代码(PHP后端方法)
2016/02/03 PHP
PHP实现的分页类定义与用法示例
2017/07/05 PHP
彻底搞懂PHP 变量结构体
2017/10/11 PHP
JS URL传中文参数引发的乱码问题
2009/09/02 Javascript
javascript offsetX与layerX区别
2010/03/12 Javascript
JQuery select控件的相关操作实现代码
2012/09/14 Javascript
JS实现兼容各浏览器解析XML文档数据的方法
2015/06/01 Javascript
基于Bootstrap里面的Button dropdown打造自定义select
2016/05/30 Javascript
React 组件间的通信示例
2018/06/14 Javascript
Vue 理解之白话 getter/setter详解
2019/04/16 Javascript
微信小程序实现渐入渐出动画效果
2019/06/13 Javascript
微信小程序之几种常见的弹框提示信息实现详解
2019/07/11 Javascript
[46:44]VG vs TNC Supermajor小组赛B组败者组决赛 BO3 第一场 6.2
2018/06/03 DOTA
在Python的setuptools框架下生成egg的教程
2015/04/13 Python
python leetcode 字符串相乘实例详解
2018/09/03 Python
详谈Python 窗体(tkinter)表格数据(Treeview)
2018/10/11 Python
Python super()函数使用及多重继承
2020/05/06 Python
python如何控制进程或者线程的个数
2020/10/16 Python
Volcom英国官方商店:美国殿堂级滑板、冲浪、滑雪服装品牌
2019/03/13 全球购物
介绍一下常见的木马种类
2014/11/15 面试题
Java的类可以定义为Protected或者Private得吗
2015/09/25 面试题
自我鉴定书面格式
2014/01/13 职场文书
高中英语教学反思
2014/02/04 职场文书
竞争与合作演讲稿
2014/05/12 职场文书
学生违反校规检讨书
2014/10/28 职场文书
小学家长意见怎么写
2015/06/03 职场文书
宝宝满月祝酒词
2015/08/10 职场文书
清明节主题班会
2015/08/14 职场文书
MySQL的存储过程和相关函数
2022/04/26 MySQL