对PyTorch中inplace字段的全面理解


Posted in Python onMay 22, 2021

例如

torch.nn.ReLU(inplace=True)
inplace=True

表示进行原地操作,对上一层传递下来的tensor直接进行修改,如x=x+3;

inplace=False

表示新建一个变量存储操作结果,如y=x+3,x=y;

inplace=True

可以节省运算内存,不用多存储变量。

补充:PyTorch中网络里面的inplace=True字段的意思

在例如nn.LeakyReLU(inplace=True)中的inplace字段是什么意思呢?有什么用?

inplace=True的意思是进行原地操作,例如x=x+5,对x就是一个原地操作,y=x+5,x=y,完成了与x=x+5同样的功能但是不是原地操作。

上面LeakyReLU中的inplace=True的含义是一样的,是对于Conv2d这样的上层网络传递下来的tensor直接进行修改,好处就是可以节省运算内存,不用多储存变量y。

inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don't see an error, it means that your use case is valid.

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
为python设置socket代理的方法
Jan 14 Python
微信 用脚本查看是否被微信好友删除
Oct 28 Python
python3使用SMTP发送HTML格式邮件
Jun 19 Python
pandas筛选某列出现编码错误的解决方法
Nov 07 Python
Django models.py应用实现过程详解
Jul 29 Python
Pandas操作CSV文件的读写实现方法
Nov 13 Python
对django 2.x版本中models.ForeignKey()外键说明介绍
Mar 30 Python
Python中有几个关键字
Jun 04 Python
PyTorch实现重写/改写Dataset并载入Dataloader
Jul 14 Python
pandas处理csv文件的方法步骤
Oct 16 Python
Jupyter notebook命令和编辑模式常用快捷键汇总
Nov 17 Python
python+pyhyper实现识别图片中的车牌号思路详解
Dec 24 Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 #Python
用python实现监控视频人数统计
Python基础之进程详解
如何在C++中调用Python
May 21 #Python
python 定义函数 返回值只取其中一个的实现
May 21 #Python
Python+Appium实现自动抢微信红包
写好Python代码的几条重要技巧
You might like
PHP 将图片按创建时间进行分类存储的实现代码
2010/01/05 PHP
PHP中设置时区方法小结
2012/06/03 PHP
php中base_convert()进制数字转换函数实例
2014/11/20 PHP
php使用wordwrap格式化文本段落的方法
2015/03/17 PHP
解决php的“It is not safe to rely on the system’s timezone settings”问题
2015/10/08 PHP
Laravel框架使用monolog_mysql实现将系统日志信息保存到mysql数据库的方法
2018/08/16 PHP
js限制文本框输入长度两种限制方式(长度、字节数)
2012/12/19 Javascript
JS学习之表格的排序简单实例
2016/05/16 Javascript
javascript日期比较方法实例分析
2016/06/17 Javascript
将html页面保存成图片,图片写入pdf的实现方法(推荐)
2016/09/17 Javascript
详解微信小程序——自定义圆形进度条
2016/12/29 Javascript
BootStrap 模态框实现刷新网页并关闭功能
2017/01/04 Javascript
纯js三维数组实现三级联动效果
2017/02/07 Javascript
微信小程序实现点击返回顶层的方法
2017/07/12 Javascript
基于构造函数的五种继承方法小结
2017/07/27 Javascript
vue 的keep-alive缓存功能的实现
2018/03/22 Javascript
[02:44]DOTA2英雄基础教程 克林克兹
2014/01/15 DOTA
[01:40]2014DOTA2国际邀请赛 三冰SOLO赛后采访恶搞
2014/07/09 DOTA
[03:08]TI9战队档案 - Vici Gaming
2019/08/20 DOTA
Python3 获取一大段文本之间两个关键字之间的内容方法
2018/10/11 Python
selenium使用chrome浏览器测试(附chromedriver与chrome的对应关系表)
2018/11/29 Python
Python中的类与类型示例详解
2019/07/10 Python
Python中用pyinstaller打包时的图标问题及解决方法
2020/02/17 Python
使用python实现多维数据降维操作
2020/02/24 Python
python drf各类组件的用法和作用
2021/01/12 Python
网站性能延迟加载图像的五种技巧(小结)
2020/08/13 HTML / CSS
可持续木材、生态和铝制太阳镜:Proof Eyewear
2019/07/24 全球购物
JAVA和C++的区别
2013/10/06 面试题
Delphi软件工程师试题
2013/01/29 面试题
制衣厂各岗位职责
2013/12/02 职场文书
决定成败的关键——创业计划书
2014/01/24 职场文书
《争吵》教学反思
2014/02/15 职场文书
活动总结新闻稿
2014/08/30 职场文书
领导欢迎词致辞
2015/01/23 职场文书
幼儿园教研工作总结2015
2015/05/12 职场文书
SQL Server基本使用和简单的CRUD操作
2021/04/05 SQL Server