对PyTorch中inplace字段的全面理解


Posted in Python onMay 22, 2021

例如

torch.nn.ReLU(inplace=True)
inplace=True

表示进行原地操作,对上一层传递下来的tensor直接进行修改,如x=x+3;

inplace=False

表示新建一个变量存储操作结果,如y=x+3,x=y;

inplace=True

可以节省运算内存,不用多存储变量。

补充:PyTorch中网络里面的inplace=True字段的意思

在例如nn.LeakyReLU(inplace=True)中的inplace字段是什么意思呢?有什么用?

inplace=True的意思是进行原地操作,例如x=x+5,对x就是一个原地操作,y=x+5,x=y,完成了与x=x+5同样的功能但是不是原地操作。

上面LeakyReLU中的inplace=True的含义是一样的,是对于Conv2d这样的上层网络传递下来的tensor直接进行修改,好处就是可以节省运算内存,不用多储存变量y。

inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don't see an error, it means that your use case is valid.

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python编程实战之Oracle数据库操作示例
Jun 21 Python
Tensorflow使用支持向量机拟合线性回归
Sep 07 Python
python通过ffmgep从视频中抽帧的方法
Dec 05 Python
python使用opencv对图像mask处理的方法
Jul 05 Python
Python Web框架之Django框架cookie和session用法分析
Aug 16 Python
python创建学生成绩管理系统
Nov 22 Python
使用tqdm显示Python代码执行进度功能
Dec 08 Python
Python如何把多个PDF文件合并代码实例
Feb 13 Python
Keras构建神经网络踩坑(解决model.predict预测值全为0.0的问题)
Jul 07 Python
用python绘制樱花树
Oct 09 Python
在pycharm中无法import所安装的库解决方案
May 31 Python
pytorch 如何把图像数据集进行划分成train,test和val
May 31 Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 #Python
用python实现监控视频人数统计
Python基础之进程详解
如何在C++中调用Python
May 21 #Python
python 定义函数 返回值只取其中一个的实现
May 21 #Python
Python+Appium实现自动抢微信红包
写好Python代码的几条重要技巧
You might like
如何使用PHP获取指定日期所在月的开始日期与结束日期
2013/08/01 PHP
php mongodb操作类 带几个简单的例子
2016/08/25 PHP
浅谈ThinkPHP5.0版本和ThinkPHP3.2版本的区别
2017/06/17 PHP
PHP实现15位身份证号转18位的方法分析
2019/10/16 PHP
laravel 实现上传图片到本地和前台访问示例
2019/10/21 PHP
php反序列化长度变化尾部字符串逃逸(0CTF-2016-piapiapia)
2020/02/15 PHP
QQ登录简单实现代码
2021/03/09 Javascript
JavaScript类型转换方法及需要注意的问题小结(挺全面)
2010/11/11 Javascript
javascript设置金额样式转换保留两位小数示例代码
2013/12/04 Javascript
js实现获取当前时间是本月第几周的方法
2015/08/11 Javascript
基于AngularJS实现页面滚动到底自动加载数据的功能
2015/10/16 Javascript
原生JavaScript编写canvas版的连连看游戏
2016/05/29 Javascript
Bootstrap的fileinput插件实现多文件上传的方法
2016/09/05 Javascript
JavaScript中push(),join() 函数 实例详解
2016/09/06 Javascript
BootStrap 动态表单效果
2017/06/02 Javascript
浅谈vuex 闲置状态重置方案
2018/01/04 Javascript
微信小程序 select 下拉框组件功能
2019/09/09 Javascript
layui 数据表格复选框实现单选功能的例子
2019/09/19 Javascript
jquery实现上传图片功能
2020/06/29 jQuery
Element Rate 评分的使用方法
2020/07/27 Javascript
[59:26]DOTA2上海特级锦标赛D组资格赛#1 EG VS VP第二局
2016/02/28 DOTA
Python常见加密模块用法分析【MD5,sha,crypt模块】
2017/05/24 Python
Python用sndhdr模块识别音频格式详解
2018/01/11 Python
详解python中init方法和随机数方法
2019/03/13 Python
python 求1-100之间的奇数或者偶数之和的实例
2019/06/11 Python
解决python xx.py文件点击完之后一闪而过的问题
2019/06/24 Python
Django基础知识 URL路由系统详解
2019/07/18 Python
Anaconda使用IDLE的实现示例
2020/09/23 Python
英超联赛的首选足球:Mitre足球
2019/05/06 全球购物
输入一行文字,找出其中大写字母、小写字母、空格、数字、及其他字符各有多少
2016/04/15 面试题
关于.NET, HTML的五个问题
2012/08/29 面试题
在校生钳工实习自我鉴定
2013/09/19 职场文书
公司领导班子对照检查存在问题整改措施
2014/10/02 职场文书
学习群众路线的心得体会
2014/11/05 职场文书
寒假社会实践个人总结
2015/03/06 职场文书
社区国庆节活动总结
2015/03/23 职场文书