pytorch 固定部分参数训练的方法


Posted in Python onAugust 17, 2019

pytorch 固定部分参数训练的方法

需要自己过滤

optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3)

另外,如果是Variable,则可以初始化时指定

j = Variable(torch.randn(5,5), requires_grad=True)

但是如果是

m = nn.Linear(10,10)

是没有requires_grad传入的

m.requires_grad也没有

需要

for i in m.parameters():
  i.requires_grad=False

另外一个小技巧就是在nn.Module里,可以在中间插入这个

for p in self.parameters():
  p.requires_grad=False

这样前面的参数就是False,而后面的不变

class Net(nn.Module):
  def __init__(self):
    super(Net, self).__init__()
    self.conv1 = nn.Conv2d(1, 6, 5)
    self.conv2 = nn.Conv2d(6, 16, 5)

    for p in self.parameters():
      p.requires_grad=False

    self.fc1 = nn.Linear(16 * 5 * 5, 120)
    self.fc2 = nn.Linear(120, 84)
    self.fc3 = nn.Linear(84, 10)

以上这篇pytorch 固定部分参数训练的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python操作列表之List.insert()方法的使用
May 20 Python
Python语言生成水仙花数代码示例
Dec 18 Python
Python自定义函数定义,参数,调用代码解析
Dec 27 Python
Python实现矩阵相乘的三种方法小结
Jul 26 Python
python中pip的安装与使用教程
Aug 10 Python
Python3爬虫学习之将爬取的信息保存到本地的方法详解
Dec 12 Python
flask框架路由常用定义方式总结
Jul 23 Python
Django Rest framework解析器和渲染器详解
Jul 25 Python
Django ORM 自定义 char 类型字段解析
Aug 09 Python
Python爬虫requests库多种用法实例
May 28 Python
Pytest实现setup和teardown的详细使用详解
Apr 17 Python
Jupyter notebook 不自动弹出网页的解决方案
May 21 Python
python之PyQt按钮右键菜单功能的实现代码
Aug 17 #Python
pytorch 在网络中添加可训练参数,修改预训练权重文件的方法
Aug 17 #Python
python PyQt5/Pyside2 按钮右击菜单实例代码
Aug 17 #Python
Pytorch 实现自定义参数层的例子
Aug 17 #Python
Python中PyQt5/PySide2的按钮控件使用实例
Aug 17 #Python
画pytorch模型图,以及参数计算的方法
Aug 17 #Python
pytorch 共享参数的示例
Aug 17 #Python
You might like
php获得文件扩展名三法
2006/11/25 PHP
PHP项目开发中最常用的自定义函数整理
2010/12/02 PHP
PHP设计模式之装饰者模式
2012/02/29 PHP
YII框架批量插入数据的方法
2017/03/18 PHP
Laravel实现ApiToken认证请求
2019/10/14 PHP
写出更好的JavaScript之undefined篇(上)
2009/11/22 Javascript
Javascript 中的 call 和 apply使用介绍
2012/02/22 Javascript
jquery表单验证使用插件formValidator
2012/11/10 Javascript
BootStrapValidator初使用教程详解
2017/02/10 Javascript
微信小程序 五星评价功能的实现
2017/03/09 Javascript
Vue2.0使用过程常见的一些问题总结学习
2017/04/10 Javascript
详解vue+vueRouter+webpack的简单实例
2017/06/17 Javascript
nodejs密码加密中生成随机数的实例代码
2017/07/17 NodeJs
浅谈VUE监听窗口变化事件的问题
2018/02/24 Javascript
jQuery实现的淡入淡出与滑入滑出效果示例
2018/04/18 jQuery
vue实现选项卡及选项卡切换效果
2018/04/24 Javascript
详解webpack+ES6+Sass搭建多页面应用
2018/11/05 Javascript
对node通过fs模块判断文件是否是文件夹的实例讲解
2019/06/10 Javascript
详解如何修改 node_modules 里的文件
2020/05/22 Javascript
JavaScript常用进制转换及位运算实例解析
2020/10/14 Javascript
python代码实现ID3决策树算法
2017/12/20 Python
TensorFlow2.0:张量的合并与分割实例
2020/01/19 Python
VSCode基础使用与VSCode调试python程序入门的图文教程
2020/03/30 Python
Python datetime模块使用方法小结
2020/06/18 Python
Python Request类源码实现方法及原理解析
2020/08/17 Python
python 如何调用 dubbo 接口
2020/09/24 Python
Python3如何使用tabulate打印数据
2020/09/25 Python
德国滑雪和户外用品网上商店:XSPO
2019/10/30 全球购物
网络工程专业毕业生推荐信
2013/10/28 职场文书
业务副厂长岗位职责
2014/01/03 职场文书
医务人员自我评价
2014/01/26 职场文书
教师申诉制度
2014/01/29 职场文书
超市开学活动方案
2014/03/01 职场文书
优秀党务工作者事迹材料
2014/05/07 职场文书
千与千寻观后感
2015/06/04 职场文书
Python必备技巧之字符数据操作详解
2022/03/23 Python