pytorch 固定部分参数训练的方法


Posted in Python onAugust 17, 2019

pytorch 固定部分参数训练的方法

需要自己过滤

optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3)

另外,如果是Variable,则可以初始化时指定

j = Variable(torch.randn(5,5), requires_grad=True)

但是如果是

m = nn.Linear(10,10)

是没有requires_grad传入的

m.requires_grad也没有

需要

for i in m.parameters():
  i.requires_grad=False

另外一个小技巧就是在nn.Module里,可以在中间插入这个

for p in self.parameters():
  p.requires_grad=False

这样前面的参数就是False,而后面的不变

class Net(nn.Module):
  def __init__(self):
    super(Net, self).__init__()
    self.conv1 = nn.Conv2d(1, 6, 5)
    self.conv2 = nn.Conv2d(6, 16, 5)

    for p in self.parameters():
      p.requires_grad=False

    self.fc1 = nn.Linear(16 * 5 * 5, 120)
    self.fc2 = nn.Linear(120, 84)
    self.fc3 = nn.Linear(84, 10)

以上这篇pytorch 固定部分参数训练的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python创建列表并给列表赋初始值的方法
Jul 28 Python
python+pyqt实现12306图片验证效果
Oct 25 Python
python多进程提取处理大量文本的关键词方法
Jun 05 Python
详解Python 装饰器执行顺序迷思
Aug 08 Python
Python爬虫设置代理IP(图文)
Dec 23 Python
在python中将字符串转为json对象并取值的方法
Dec 31 Python
Python button选取本地图片并显示的实例
Jun 13 Python
python 猴子补丁(monkey patch)
Jun 26 Python
python利用re,bs4,requests模块获取股票数据
Jul 29 Python
python实现京东订单推送到测试环境,提供便利操作示例
Aug 09 Python
python的time模块和datetime模块实例解析
Nov 29 Python
用python实现前向分词最大匹配算法的示例代码
Aug 06 Python
python之PyQt按钮右键菜单功能的实现代码
Aug 17 #Python
pytorch 在网络中添加可训练参数,修改预训练权重文件的方法
Aug 17 #Python
python PyQt5/Pyside2 按钮右击菜单实例代码
Aug 17 #Python
Pytorch 实现自定义参数层的例子
Aug 17 #Python
Python中PyQt5/PySide2的按钮控件使用实例
Aug 17 #Python
画pytorch模型图,以及参数计算的方法
Aug 17 #Python
pytorch 共享参数的示例
Aug 17 #Python
You might like
全国FM电台频率大全 - 1 北京市
2020/03/11 无线电
使用php+xslt在windows平台上
2006/10/09 PHP
在PHP中实现Javascript的escape()函数代码
2010/08/08 PHP
调整PHP的性能
2013/10/30 PHP
php依赖注入知识点详解
2019/09/23 PHP
Javascript this指针
2009/07/30 Javascript
一个判断抢购时间是否到达的简单的js函数
2014/06/23 Javascript
jquery实现多条件筛选特效代码分享
2015/08/28 Javascript
js简单判断移动端系统的方法
2016/02/25 Javascript
JavaScript实现时钟滴答声效果
2017/01/29 Javascript
vue父组件向子组件(props)传递数据的方法
2018/01/02 Javascript
JS实现DOM删除节点操作示例
2018/04/04 Javascript
JavaScript基础教程之如何实现一个简单的promise
2018/09/11 Javascript
微信小程序当前时间时段选择器插件使用方法详解
2018/12/28 Javascript
javaScript中indexOf用法技巧
2019/11/26 Javascript
[46:58]完美世界DOTA2联赛PWL S3 Forest vs LBZS 第一场 12.17
2020/12/19 DOTA
python在Windows下安装setuptools(easy_install工具)步骤详解
2016/07/01 Python
Python HTTP客户端自定义Cookie实现实例
2017/04/28 Python
Python数据结构与算法之完全树与最小堆实例
2017/12/13 Python
python 信息同时输出到控制台与文件的实例讲解
2018/05/11 Python
解决Python在导入文件时的FileNotFoundError问题
2020/04/10 Python
Python如何对齐字符串
2020/07/30 Python
详解canvas drawImage()方法绘制图片不显示的问题
2018/10/08 HTML / CSS
HTML5 Canvas图像模糊完美解决办法
2018/02/06 HTML / CSS
eBay澳大利亚站:eBay.com.au
2018/02/02 全球购物
意大利在线药房:Farmacia Loreto Gallo
2019/08/09 全球购物
台湾专柜女包:KINAZ
2019/12/26 全球购物
英国Iceland杂货店:网上食品购物
2020/12/16 全球购物
幼儿教师考核制度
2014/01/25 职场文书
酒店员工职业生涯规划
2014/02/25 职场文书
财产公证书
2014/04/10 职场文书
感恩老师的演讲稿
2014/05/06 职场文书
2014年文秘工作总结
2014/11/25 职场文书
2015年秋季学校开学标语
2015/07/16 职场文书
《去年的树》教学反思
2016/02/18 职场文书
全面盘点MySQL中的那些重要日志文件
2021/11/27 MySQL