对PyTorch中inplace字段的全面理解


Posted in Python onMay 22, 2021

例如

torch.nn.ReLU(inplace=True)
inplace=True

表示进行原地操作,对上一层传递下来的tensor直接进行修改,如x=x+3;

inplace=False

表示新建一个变量存储操作结果,如y=x+3,x=y;

inplace=True

可以节省运算内存,不用多存储变量。

补充:PyTorch中网络里面的inplace=True字段的意思

在例如nn.LeakyReLU(inplace=True)中的inplace字段是什么意思呢?有什么用?

inplace=True的意思是进行原地操作,例如x=x+5,对x就是一个原地操作,y=x+5,x=y,完成了与x=x+5同样的功能但是不是原地操作。

上面LeakyReLU中的inplace=True的含义是一样的,是对于Conv2d这样的上层网络传递下来的tensor直接进行修改,好处就是可以节省运算内存,不用多储存变量y。

inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don't see an error, it means that your use case is valid.

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
linux系统使用python监测网络接口获取网络的输入输出
Jan 15 Python
Python多进程并发(multiprocessing)用法实例详解
Jun 02 Python
Python单体模式的几种常见实现方法详解
Jul 28 Python
python实现连续图文识别
Dec 18 Python
Python3爬虫全国地址信息
Jan 05 Python
python取余运算符知识点详解
Jun 27 Python
解决Django Static内容不能加载显示的问题
Jul 28 Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 Python
Python使用Tkinter实现转盘抽奖器的步骤详解
Jan 06 Python
python opencv进行图像拼接
Mar 27 Python
python打包多类型文件的操作方法
Sep 21 Python
python基础入门之字典和集合
Jun 13 Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 #Python
用python实现监控视频人数统计
Python基础之进程详解
如何在C++中调用Python
May 21 #Python
python 定义函数 返回值只取其中一个的实现
May 21 #Python
Python+Appium实现自动抢微信红包
写好Python代码的几条重要技巧
You might like
php调用淘宝开放API实现根据卖家昵称获取卖家店铺ID的方法
2015/07/29 PHP
PHP程序员不应该忽略的3点
2015/10/09 PHP
详解php与ethereum客户端交互
2018/04/28 PHP
PHP中迭代器的简单实现及Yii框架中的迭代器实现方法示例
2020/04/26 PHP
一个JavaScript继承的实现
2006/10/24 Javascript
实现复选框全选/全不选切换
2006/12/23 Javascript
JS中的prototype与面向对象的实例讲解
2013/05/22 Javascript
jQuery之选项卡的简单实现
2014/02/28 Javascript
node.js中Socket.IO的进阶使用技巧
2014/11/04 Javascript
js判断某个方法是否存在实例代码
2015/01/10 Javascript
Windows系统中安装nodejs图文教程
2015/02/28 NodeJs
两款JS脚本判断手机浏览器类型跳转WAP手机网站
2015/10/16 Javascript
JavaScript图像延迟加载库Echo.js
2016/04/05 Javascript
HTML5基于Tomcat 7.0实现WebSocket连接并实现简单的实时聊天
2016/10/31 Javascript
jQuery模拟淘宝购物车功能
2017/02/27 Javascript
webpack 1.x升级过程中的踩坑总结大全
2017/08/09 Javascript
Vue.js进行查询操作的实例详解
2017/08/25 Javascript
JavaScript中的各种宽高属性的实现
2020/05/08 Javascript
javascript利用canvas实现鼠标拖拽功能
2020/07/23 Javascript
python使用tornado实现简单爬虫
2018/07/28 Python
python 自动批量打开网页的示例
2019/02/21 Python
flask框架自定义url转换器操作详解
2020/01/25 Python
tensorflow生成多个tfrecord文件实例
2020/02/17 Python
python操作yaml说明
2020/04/08 Python
如何基于python实现不邻接植花
2020/05/01 Python
台湾三立电视电商平台:电电购
2019/09/09 全球购物
软件缺陷的分类都有哪些
2014/08/22 面试题
实习自我鉴定范文
2013/10/30 职场文书
经贸日语专业个人求职信范文
2013/12/28 职场文书
作风建设剖析材料
2014/10/06 职场文书
新闻简讯格式及范文
2015/07/22 职场文书
毕业酒会致辞
2015/07/29 职场文书
幼儿体育课教学反思
2016/02/16 职场文书
上手简单,功能强大的Python爬虫框架——feapder
2021/04/27 Python
Mysql中 unique列插入重复值该怎么解决呢
2021/05/26 MySQL
MySQL GRANT用户授权的实现
2021/06/18 MySQL