PyTorch里面的torch.nn.Parameter()详解


Posted in Python onJanuary 03, 2020

在看过很多博客的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),首先可以把这个函数理解为类型转换函数,将一个不可训练的类型Tensor转换成可以训练的类型parameter并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的parameter,所以在参数优化的时候可以进行优化的),所以经过类型转换这个self.v变成了模型的一部分,成为了模型中根据训练可以改动的参数了。

使用这个函数的目的也是想让某些变量在学习的过程中不断的修改其值以达到最优化。

出现这个函数的地方

PyTorch里面的torch.nn.Parameter()详解

在concat注意力机制中,权值V是不断学习的所以要是parameter类型,不直接使用一个torch.nn.Linear()可能是因为学习的效果不好。

通过做下面的实验发现,linear里面的weight和bias就是parameter类型,且不能够使用tensor类型替换,还有linear里面的weight甚至可能通过指定一个不同于初始化时候的形状进行模型的更改。

PyTorch里面的torch.nn.Parameter()详解

self.gamma被绑定到模型中了,所以可以在训练的时候优化

以上这篇PyTorch里面的torch.nn.Parameter()详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 从远程服务器下载东西的代码
Feb 10 Python
python根据开头和结尾字符串获取中间字符串的方法
Mar 26 Python
Python利用flask sqlalchemy实现分页效果
Aug 02 Python
django创建自定义模板处理器的实例详解
Aug 14 Python
Python数据分析之获取双色球历史信息的方法示例
Feb 03 Python
Python安装图文教程 Pycharm安装教程
Mar 27 Python
Python unittest模块用法实例分析
May 25 Python
python使用turtle绘制国际象棋棋盘
May 23 Python
python opencv实现证件照换底功能
Aug 19 Python
Pyqt5自适应布局实例
Dec 13 Python
Python xmltodict模块安装及代码实例
Oct 05 Python
利用Python如何画一颗心、小人发射爱心
Feb 21 Python
Python实现银行账户资金交易管理系统
Jan 03 #Python
Pytorch提取模型特征向量保存至csv的例子
Jan 03 #Python
pytorch查看torch.Tensor和model是否在CUDA上的实例
Jan 03 #Python
python实现上传文件到linux指定目录的方法
Jan 03 #Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 #Python
django商品分类及商品数据建模实例详解
Jan 03 #Python
PyTorch和Keras计算模型参数的例子
Jan 02 #Python
You might like
php中$this->含义分析
2009/11/29 PHP
php 中的4种标记风格介绍
2012/05/10 PHP
php实现自动获取生成文章主题关键词功能的深入分析
2013/06/03 PHP
PHP积分兑换接口实例
2015/02/09 PHP
Laravel使用PHPQRCODE实现生成带有LOGO的二维码图片功能示例
2017/07/07 PHP
PDO::beginTransaction讲解
2019/01/27 PHP
JavaScript窗口功能指南之在窗口中书写内容
2006/07/21 Javascript
用js实现手把手教你月入万刀(转贴)
2007/11/07 Javascript
jquery实现未经美化的简洁TAB菜单效果
2015/08/28 Javascript
浅谈JavaScript中的对象及Promise对象的实现
2015/11/15 Javascript
RequireJS 依赖关系的实例(推荐)
2017/01/21 Javascript
Angular自定义组件实现数据双向数据绑定的实例
2017/12/11 Javascript
Node.js中,在cmd界面,进入退出Node.js运行环境的方法
2018/05/12 Javascript
webpack优化的深入理解
2018/12/10 Javascript
原生JavaScript之es6中Class的用法分析
2020/02/23 Javascript
详解Vue中的MVVM原理和实现方法
2020/07/15 Javascript
在vue中获取wangeditor的html和text的操作
2020/10/23 Javascript
[55:45]DOTA2上海特级锦标赛D组败者赛 Liquid VS COL第一局
2016/02/28 DOTA
python进阶教程之异常处理
2014/08/30 Python
Python数组遍历的简单实现方法小结
2016/04/27 Python
jupyter notebook引用from pyecharts.charts import Bar运行报错
2020/04/23 Python
python SMTP实现发送带附件电子邮件
2018/05/22 Python
Python实现读取机器硬件信息的方法示例
2018/06/09 Python
Python安装Flask环境及简单应用示例
2019/05/03 Python
python3+PyQt5 数据库编程--增删改实例
2019/06/17 Python
新手入门Python编程的8个实用建议
2019/07/12 Python
Python模拟登录之滑块验证码的破解(实例代码)
2019/11/18 Python
pytorch 实现删除tensor中的指定行列
2020/01/13 Python
python为什么要安装到c盘
2020/07/20 Python
中国双语服务优势的在线购票及活动平台:247tickets
2018/10/26 全球购物
在家更换处方镜片:Lensabl
2019/05/01 全球购物
eharmony澳大利亚:网上约会服务
2020/02/29 全球购物
公司面试感谢信
2014/02/01 职场文书
单位综合评价意见
2015/06/05 职场文书
宝葫芦的秘密观后感
2015/06/11 职场文书
团队拓展训练感想
2015/08/07 职场文书