pytorch自定义初始化权重的方法


Posted in Python onAugust 17, 2019

在常见的pytorch代码中,我们见到的初始化方式都是调用init类对每层所有参数进行初始化。但是,有时我们有些特殊需求,比如用某一层的权重取优化其它层,或者手动指定某些权重的初始值。

核心思想就是构造和该层权重同一尺寸的矩阵去对该层权重赋值。但是,值得注意的是,pytorch中各层权重的数据类型是nn.Parameter,而不是Tensor或者Variable。

import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
 
# 第一一个卷积层,我们可以看到它的权值是随机初始化的
w=torch.nn.Conv2d(2,2,3,padding=1)
print(w.weight)
 
 
# 第一种方法
print("1.使用另一个Conv层的权值")
q=torch.nn.Conv2d(2,2,3,padding=1) # 假设q代表一个训练好的卷积层
print(q.weight) # 可以看到q的权重和w是不同的
w.weight=q.weight # 把一个Conv层的权重赋值给另一个Conv层
print(w.weight)
 
# 第二种方法
print("2.使用来自Tensor的权值")
ones=torch.Tensor(np.ones([2,2,3,3])) # 先创建一个自定义权值的Tensor,这里为了方便将所有权值设为1
w.weight=torch.nn.Parameter(ones) # 把Tensor的值作为权值赋值给Conv层,这里需要先转为torch.nn.Parameter类型,否则将报错
print(w.weight)

附:Variable和Parameter的区别

Parameter 是torch.autograd.Variable的一个字类,常被用于Module的参数。例如权重和偏置。

Parameters和Modules一起使用的时候会有一些特殊的属性。parameters赋值给Module的属性的时候,它会被自动加到Module的参数列表中,即会出现在Parameter()迭代器中。将Varaible赋给Module的时候没有这样的属性。这可以在nn.Module的实现中详细看一下。这样做是为了保存模型的时候只保存权重偏置参数,不保存节点值。所以复写Variable加以区分。

另外一个不同是parameter不能设置volatile,而且require_grad默认设置为true。Varaible默认设置为False.

参数:

parameter.data 得到tensor数据

parameter.requires_grad 默认为True, BP过程中会求导

Parameter一般是在Modules中作为权重和偏置,自动加入参数列表,可以进行保存恢复。和Variable具有相同的运算。

我们可以这样简单区分,在计算图中,数据(包括输入数据和计算过程中产生的feature map等)时variable类型,该类型不会被保存到模型中。 网络的权重是parameter类型,在计算过程中会被更新,将会被保存到模型中。

以上这篇pytorch自定义初始化权重的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python正则表达式re模块详细介绍
May 29 Python
python基础教程之缩进介绍
Aug 29 Python
python批量修改文件编码格式的方法
May 31 Python
Python3正则匹配re.split,re.finditer及re.findall函数用法详解
Jun 11 Python
Python设计模式之解释器模式原理与用法实例分析
Jan 10 Python
Django组件cookie与session的具体使用
Jun 05 Python
Flask-WTF表单的使用方法
Jul 12 Python
Python使用百度api做人脸对比的方法
Aug 28 Python
python图形界面开发之wxPython树控件使用方法详解
Feb 24 Python
Django表单提交后实现获取相同name的不同value值
May 14 Python
Django如何在不停机的情况下创建索引
Aug 02 Python
python 第三方库paramiko的常用方式
Feb 20 Python
在Pytorch中使用样本权重(sample_weight)的正确方法
Aug 17 #Python
获取Pytorch中间某一层权重或者特征的例子
Aug 17 #Python
pyenv与virtualenv安装实现python多版本多项目管理
Aug 17 #Python
pytorch 获取层权重,对特定层注入hook, 提取中间层输出的方法
Aug 17 #Python
关于PyTorch源码解读之torchvision.models
Aug 17 #Python
django项目用higcharts统计最近七天文章点击量
Aug 17 #Python
Django对models里的objects的使用详解
Aug 17 #Python
You might like
DC动画很好看?新作烂得令人发指,名叫《红色之子》
2020/04/09 欧美动漫
WINDOWS下php5.2.4+mysql6.0+apache2.2.4+ZendOptimizer-3.3.0配置
2008/03/28 PHP
PHP开启gzip页面压缩实例代码
2010/03/11 PHP
PHP三层结构(上) 简单三层结构
2010/07/04 PHP
PHP中使用hidef扩展代替define提高性能
2015/04/09 PHP
深入理解PHP中的Streams工具
2015/07/03 PHP
Js+XML 操作
2006/09/20 Javascript
关于 byval 与 byref 的区别分析总结
2007/10/08 Javascript
jQuery中[attribute]选择器用法实例
2014/12/31 Javascript
JavaScript插件化开发教程 (二)
2015/01/27 Javascript
javascript 兼容各个浏览器的事件
2015/02/04 Javascript
JavaScript实现的经典文件树菜单效果
2015/09/08 Javascript
JS定义类的六种方式详解
2016/05/12 Javascript
老生常谈onBlur事件与onfocus事件(js)
2016/07/09 Javascript
vue2.0+webpack环境的构造过程
2016/11/08 Javascript
Javascript将图片的绝对路径转换为base64编码的方法
2018/01/11 Javascript
js中innerText/textContent和innerHTML与target和currentTarget的区别
2019/01/21 Javascript
JavaScript实现美化滑块效果
2019/05/17 Javascript
vue项目打包后怎样优雅的解决跨域
2019/05/26 Javascript
JS数组及对象遍历方法代码汇总
2020/06/16 Javascript
一文秒懂nodejs中的异步编程
2021/01/28 NodeJs
[01:10:57]Liquid vs OG 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
python执行shell获取硬件参数写入mysql的方法
2014/12/29 Python
Python使用pip安装pySerial串口通讯模块
2018/04/20 Python
python并发和异步编程实例
2018/11/15 Python
Python实现的服务器示例小结【单进程、多进程、多线程、非阻塞式】
2019/05/23 Python
python中selenium操作下拉滚动条的几种方法汇总
2019/07/14 Python
Windows10下 python3.7 安装 facenet的教程
2019/09/10 Python
详解从Django Allauth中进行登录改造小结
2019/12/18 Python
分布式数据库需要考虑哪些问题
2013/12/08 面试题
什么是就业协议书
2014/04/17 职场文书
优秀团员自我评价范文
2014/04/23 职场文书
副乡长民主生活会个人对照检查材料思想汇报
2014/10/01 职场文书
大学生奖学金获奖感言(范文)
2019/08/15 职场文书
德劲DE1107指针试高灵敏度全波段收音机机评
2022/04/05 无线电
MySQL数据库事务的四大特性
2022/04/20 MySQL