PyTorch里面的torch.nn.Parameter()详解


Posted in Python onJanuary 03, 2020

在看过很多博客的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),首先可以把这个函数理解为类型转换函数,将一个不可训练的类型Tensor转换成可以训练的类型parameter并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的parameter,所以在参数优化的时候可以进行优化的),所以经过类型转换这个self.v变成了模型的一部分,成为了模型中根据训练可以改动的参数了。

使用这个函数的目的也是想让某些变量在学习的过程中不断的修改其值以达到最优化。

出现这个函数的地方

PyTorch里面的torch.nn.Parameter()详解

在concat注意力机制中,权值V是不断学习的所以要是parameter类型,不直接使用一个torch.nn.Linear()可能是因为学习的效果不好。

通过做下面的实验发现,linear里面的weight和bias就是parameter类型,且不能够使用tensor类型替换,还有linear里面的weight甚至可能通过指定一个不同于初始化时候的形状进行模型的更改。

PyTorch里面的torch.nn.Parameter()详解

self.gamma被绑定到模型中了,所以可以在训练的时候优化

以上这篇PyTorch里面的torch.nn.Parameter()详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 正则式使用心得
May 07 Python
用python实现面向对像的ASP程序实例
Nov 10 Python
python装饰器decorator介绍
Nov 21 Python
对变量赋值的理解--Pyton中让两个值互换的实现方法
Nov 29 Python
微信跳一跳小游戏python脚本
Jan 05 Python
python通过文本在一个图中画多条线的实例
Feb 21 Python
python如何实现读取并显示图片(不需要图形界面)
Jul 08 Python
Python为何不支持switch语句原理详解
Oct 21 Python
python 发送邮件的四种方法汇总
Dec 02 Python
Python经典五人分鱼实例讲解
Jan 04 Python
Python3 使用pip安装git并获取Yahoo金融数据的操作
Apr 08 Python
如何使用Python实现一个简易的ORM模型
May 12 Python
Python实现银行账户资金交易管理系统
Jan 03 #Python
Pytorch提取模型特征向量保存至csv的例子
Jan 03 #Python
pytorch查看torch.Tensor和model是否在CUDA上的实例
Jan 03 #Python
python实现上传文件到linux指定目录的方法
Jan 03 #Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 #Python
django商品分类及商品数据建模实例详解
Jan 03 #Python
PyTorch和Keras计算模型参数的例子
Jan 02 #Python
You might like
基于mysql的论坛(2)
2006/10/09 PHP
php Sql Server连接失败问题及解决办法
2009/08/07 PHP
php设计模式 Visitor 访问者模式
2011/06/28 PHP
PHP实现压缩图片尺寸并转为jpg格式的方法示例
2018/05/10 PHP
PHP防止sql注入小技巧之sql预处理原理与实现方法分析
2019/12/13 PHP
用JAVASCRIPT如何给<textarea></textarea>赋值
2007/04/20 Javascript
js变量以及其作用域详解
2020/07/18 Javascript
js计算字符串长度包含的中文是utf8格式
2013/10/15 Javascript
node.js中使用socket.io的方法
2014/12/15 Javascript
js实现瀑布流的三种方式比较
2020/06/28 Javascript
基于JavaScript Array数组方法(新手必看篇)
2016/08/20 Javascript
JS实现前端缓存的方法
2017/09/21 Javascript
JS判断用户用的哪个浏览器实例详解
2018/10/09 Javascript
基于vue-cli、elementUI的Vue超简单入门小例子(推荐)
2019/04/17 Javascript
详解vue-cli中使用rem,vue自适应
2019/05/06 Javascript
vue设置导航栏、侧边栏为公共页面的例子
2019/11/01 Javascript
Python操作MongoDB详解及实例
2017/05/18 Python
Python sqlite3事务处理方法实例分析
2017/06/19 Python
python利用百度AI实现文字识别功能
2018/11/27 Python
使用python对文件中的单词进行提取的方法示例
2018/12/21 Python
python获取点击的坐标画图形的方法
2019/07/09 Python
python3 BeautifulSoup模块使用字典的方法抓取a标签内的数据示例
2019/11/28 Python
python是怎么被发明的
2020/06/15 Python
python数据类型强制转换实例详解
2020/06/22 Python
bonprix荷兰网上商店:便宜的服装、鞋子和家居用品
2020/07/04 全球购物
将"引用"作为函数返回值类型的格式、好处和需要遵守的规则
2016/02/09 面试题
在校生钳工实习自我鉴定
2013/09/19 职场文书
消防安全汇报材料
2014/02/08 职场文书
公司年会搞笑主持词
2014/03/24 职场文书
英文推荐信格式范文
2014/05/09 职场文书
部门2014年度工作总结
2014/11/12 职场文书
2014年德育工作总结
2014/11/20 职场文书
2015社区爱国卫生工作总结
2015/04/21 职场文书
完美解决golang go get私有仓库的问题
2021/05/05 Golang
python异常中else的实例用法
2021/06/15 Python
铁拳制作人赞《铁拳7》老头环Mod:制作精良 但别弄了
2022/04/03 其他游戏