pytorch 固定部分参数训练的方法


Posted in Python onAugust 17, 2019

pytorch 固定部分参数训练的方法

需要自己过滤

optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3)

另外,如果是Variable,则可以初始化时指定

j = Variable(torch.randn(5,5), requires_grad=True)

但是如果是

m = nn.Linear(10,10)

是没有requires_grad传入的

m.requires_grad也没有

需要

for i in m.parameters():
  i.requires_grad=False

另外一个小技巧就是在nn.Module里,可以在中间插入这个

for p in self.parameters():
  p.requires_grad=False

这样前面的参数就是False,而后面的不变

class Net(nn.Module):
  def __init__(self):
    super(Net, self).__init__()
    self.conv1 = nn.Conv2d(1, 6, 5)
    self.conv2 = nn.Conv2d(6, 16, 5)

    for p in self.parameters():
      p.requires_grad=False

    self.fc1 = nn.Linear(16 * 5 * 5, 120)
    self.fc2 = nn.Linear(120, 84)
    self.fc3 = nn.Linear(84, 10)

以上这篇pytorch 固定部分参数训练的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
django开发之settings.py中变量的全局引用详解
Mar 29 Python
利用python 更新ssh 远程代码 操作远程服务器的实现代码
Feb 08 Python
TensorFlow变量管理详解
Mar 10 Python
利用python循环创建多个文件的方法
Oct 25 Python
python_opencv用线段画封闭矩形的实例
Dec 05 Python
Django REST framework内置路由用法
Jul 26 Python
pytorch如何冻结某层参数的实现
Jan 10 Python
python 装饰器功能与用法案例详解
Mar 06 Python
一文轻松掌握python语言命名规范规则
Jun 18 Python
python 用Matplotlib作图中有多个Y轴
Nov 28 Python
浅谈Python xlwings 读取Excel文件的正确姿势
Feb 26 Python
Python 循环读取数据内存不足的解决方案
May 25 Python
python之PyQt按钮右键菜单功能的实现代码
Aug 17 #Python
pytorch 在网络中添加可训练参数,修改预训练权重文件的方法
Aug 17 #Python
python PyQt5/Pyside2 按钮右击菜单实例代码
Aug 17 #Python
Pytorch 实现自定义参数层的例子
Aug 17 #Python
Python中PyQt5/PySide2的按钮控件使用实例
Aug 17 #Python
画pytorch模型图,以及参数计算的方法
Aug 17 #Python
pytorch 共享参数的示例
Aug 17 #Python
You might like
ThinkPHP中__initialize()和类的构造函数__construct()用法分析
2014/11/29 PHP
php数组函数array_walk用法示例
2016/05/26 PHP
Laravel使用支付宝进行支付的示例代码
2017/08/16 PHP
Prototype最新版(1.5 rc2)使用指南(1)
2007/01/10 Javascript
js实现addClass,removeClass,hasClass的函数代码
2011/07/13 Javascript
JQuery中关于jquery.js与jquery.min.js的比较探讨
2013/05/15 Javascript
js过滤HTML标签以及空格的思路及代码
2013/05/24 Javascript
正负小数点后两位浮点数实现原理及代码
2013/09/06 Javascript
js动态添加事件并可传参数示例代码
2013/10/21 Javascript
js整数字符串转换为金额类型数据(示例代码)
2013/12/26 Javascript
js中reverse函数的用法详解
2013/12/26 Javascript
ionic2 tabs使用 Modal底部tab弹出框
2016/12/30 Javascript
使用jquery模拟a标签的click事件无法实现跳转的解决
2018/12/04 jQuery
koa+mongoose实现简单增删改查接口的示例代码
2019/05/13 Javascript
typescript nodejs 依赖注入实现方法代码详解
2019/07/21 NodeJs
微信小程序自定义tabbar custom-tab-bar 6s出不来解决方案(cover-view不兼容)
2019/11/01 Javascript
vue实现将数据存入vuex中以及从vuex中取出数据
2019/11/08 Javascript
[04:31]2016国际邀请赛中国区预选赛妖精采访
2016/06/27 DOTA
Cpy和Python的效率对比
2015/03/20 Python
基于Python实现用户管理系统
2019/02/26 Python
OpenCV python sklearn随机超参数搜索的实现
2020/01/17 Python
python切片作为占位符使用实例讲解
2021/02/17 Python
CSS3区域模块region相关编写示例
2015/08/28 HTML / CSS
拉斯维加斯城市观光通行证:Las Vegas Pass
2019/05/21 全球购物
班长岗位职责
2013/11/10 职场文书
工作求职信
2014/07/04 职场文书
连锁超市项目计划书
2014/09/15 职场文书
教师见习报告范文
2014/11/03 职场文书
2014年学生会干事工作总结
2014/11/07 职场文书
2015年度村委会工作总结
2015/04/29 职场文书
JavaScript高级程序设计之变量与作用域
2021/11/17 Javascript
「海贼王」112.9万粉丝纪念图标公布
2022/03/21 日漫
5人制售《绝地求生》游戏外挂获利500多万元 被判刑
2022/03/31 其他游戏
vue+elementUI实现表格列的显示与隐藏
2022/04/13 Vue.js
CSS中float高度塌陷问题的四种解决方案
2022/04/18 HTML / CSS
xhunter1.sys可以删除嘛? win11提示xhunter1.sys驱动不兼容解决办法
2022/09/23 数码科技