详解Pytorch显存动态分配规律探索


Posted in Python onNovember 17, 2020

下面通过实验来探索Pytorch分配显存的方式。

实验显存到主存

我使用VSCode的jupyter来进行实验,首先只导入pytorch,代码如下:

import torch

打开任务管理器查看主存与显存情况。情况分别如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

在显存中创建1GB的张量,赋值给a,代码如下:

a = torch.zeros([256,1024,1024],device= 'cpu')

查看主存与显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

可以看到主存与显存都变大了,而且显存不止变大了1G,多出来的内存是pytorch运行所需的一些配置变量,我们这里忽略。

再次在显存中创建一个1GB的张量,赋值给b,代码如下:

b = torch.zeros([256,1024,1024],device= 'cpu')

查看主显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

这次主存大小没变,显存变高了1GB,这是合情合理的。然后我们将b移动到主存中,代码如下:

b = b.to('cpu') 

查看主显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

发现主存是变高了1GB,显存却只变小了0.1GB,好像只是将显存张量复制到主存一样。实际上,pytorch的确是复制了一份张量到主存中,但它也对显存中这个张量的移动进行了记录。我们接着执行以下代码,再创建1GB的张量赋值给c:

c = torch.zeros([256,1024,1024],device= 'cuda')

查看主显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

发现只有显存大小变大了0.1GB,这说明,Pytorch的确记录了显存中张量的移动,只是没有立即将显存空间释放,它选择在下一次创建新变量时覆盖这个位置。接下来,我们重复执行上面这行代码:

c = torch.zeros([256,1024,1024],device= 'cuda') 

主显存情况如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

明明我们把张量c给覆盖了,显存内容却变大了,这是为什么呢?实际上,Pytorch在执行这句代码时,是首先找到可使用的显存位置,创建这1GB的张量,然后再赋值给c。但因为在新创建这个张量时,原本的c依然占有1GB的显存,pytorch只能先调取另外1GB显存来创建这个张量,再将这个张量赋值给c。这样一来,原本的那个c所在的显存内容就空出来了,但和前面说的一样,pytorch并不会立即释放这里的显存,而等待下一次的覆盖,所以显存大小并没有减小。

我们再创建1GB的d张量,就可以验证上面的猜想,代码如下:

d = torch.zeros([256,1024,1024],device= 'cuda') 

主显存情况如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

显存大小并没有变,就是因为pytorch将新的张量创建在了上一步c空出来的位置,然后再赋值给了d。另外,删除变量操作也同样不会立即释放显存:

del d

主显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

显存没有变化,同样是等待下一次的覆盖。

主存到显存

接着上面的实验,我们创建直接在主存创建1GB的张量并赋值给e,代码如下:

e = torch.zeros([256,1024,1024],device= 'cpu')

主显存情况如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

主存变大1GB,合情合理。然后将e移动到显存,代码如下:

e = e.to('cuda')

主显存情况如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

主存变小1GB,显存没变是因为上面张量d被删除没有被覆盖,合情合理。说明主存的释放是立即执行的。

总结

通过上面的实验,我们了解到,pytorch不会立即释放显存中失效变量的内存,它会以覆盖的方式利用显存中的可用空间。另外,如果要重置显存中的某个规模较大的张量,最好先将它移动到主存中,或是直接删除,再创建新值,否则就需要两倍的内存来实现这个操作,就有可能出现显存不够用的情况。

实验代码汇总如下:

#%% 
import torch
#%%
a = torch.zeros([256,1024,1024],device= 'cuda') 
#%%
b = torch.zeros([256,1024,1024],device= 'cuda') 
#%%
b = b.to('cpu')
#%%
c = torch.zeros([256,1024,1024],device= 'cuda') 
#%%
c = torch.zeros([256,1024,1024],device= 'cuda') 
#%% 
d = torch.zeros([256,1024,1024],device= 'cuda') 
#%%
del d 
#%% 
e = torch.zeros([256,1024,1024],device= 'cpu') 
#%%
e = e.to('cuda')

到此这篇关于Pytorch显存动态分配规律探索的文章就介绍到这了,更多相关Pytorc显存分配规律内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中用PIL库批量给图片加上序号的教程
May 06 Python
Python 使用SMTP发送邮件的代码小结
Sep 21 Python
Python中如何获取类属性的列表
Dec 26 Python
Python学习教程之常用的内置函数大全
Jul 14 Python
使用sklearn进行对数据标准化、归一化以及将数据还原的方法
Jul 11 Python
详解Django项目中模板标签及模板的继承与引用(网站中快速布置广告)
Mar 27 Python
PyQt5基本控件使用详解:单选按钮、复选框、下拉框
Aug 05 Python
Python3 翻转二叉树的实现
Sep 30 Python
Python绘图实现显示中文
Dec 04 Python
Pytorch Tensor的统计属性实例讲解
Dec 30 Python
Django nginx配置实现过程详解
Sep 10 Python
浅析python 通⽤爬⾍和聚焦爬⾍
Sep 28 Python
Python调用ffmpeg开源视频处理库,批量处理视频
Nov 16 #Python
python tkinter实现连连看游戏
Nov 16 #Python
详解python os.path.exists判断文件或文件夹是否存在
Nov 16 #Python
Python 删除List元素的三种方法remove、pop、del
Nov 16 #Python
python 从list中随机取值的方法
Nov 16 #Python
python实现在列表中查找某个元素的下标示例
Nov 16 #Python
python如何获得list或numpy数组中最大元素对应的索引
Nov 16 #Python
You might like
德生1994机评
2021/03/02 无线电
typecho插件编写教程(三):保存配置
2015/05/28 PHP
php关闭warning问题的解决方法
2016/05/17 PHP
原生php实现excel文件读写的方法分析
2018/04/25 PHP
用函数式编程技术编写优美的 JavaScript_ibm
2008/05/16 Javascript
Javascript 跨域访问解决方案
2009/02/14 Javascript
使用jQuery将多条数据插入模态框的实现代码
2014/10/08 Javascript
node.js中的http.request.end方法使用说明
2014/12/10 Javascript
jquery加载图片时以淡入方式显示的方法
2015/01/14 Javascript
漫谈JS引擎的运行机制 你应该知道什么
2016/06/15 Javascript
jquery实现网站列表切换效果的2种方法
2016/08/12 Javascript
MUI 解决动态列表页图片懒加载再次加载不成功的bug问题
2017/04/13 Javascript
微信小程序 空白页重定向解决办法
2017/06/27 Javascript
element 结合vue 在表单验证时有值却提示错误的解决办法
2018/01/22 Javascript
vue+elementui 对话框取消 表单验证重置示例
2019/10/29 Javascript
javascript实现简单搜索功能
2020/03/26 Javascript
Python的Flask框架中实现登录用户的个人资料和头像的教程
2015/04/20 Python
Python字符串匹配算法KMP实例
2015/07/18 Python
Python 十六进制整数与ASCii编码字符串相互转换方法
2018/07/09 Python
python Web开发你要理解的WSGI & uwsgi详解
2018/08/01 Python
python实现对任意大小图片均匀切割的示例
2018/12/05 Python
Python三元运算与lambda表达式实例解析
2019/11/30 Python
Python实现计算长方形面积(带参数函数demo)
2020/01/18 Python
Python实现给PDF添加水印的方法
2021/01/25 Python
html5中去掉input type date默认样式的方法
2018/09/06 HTML / CSS
创伤外科专业推荐信范文
2013/11/19 职场文书
写自荐信要注意什么
2013/12/26 职场文书
精彩的演讲稿开头
2014/05/08 职场文书
银行员工犯错检讨书
2014/09/16 职场文书
教师国庆节演讲稿范文2014
2014/09/21 职场文书
活动主持人开场白
2015/05/28 职场文书
python使用pywinauto驱动微信客户端实现公众号爬虫
2021/05/19 Python
javascript Number 与 Math对象的介绍
2021/11/17 Javascript
Vue提供的三种调试方式你知道吗
2022/01/18 Vue.js
python井字棋游戏实现人机对战
2022/04/28 Python
mysql性能优化以及配置连接参数设置
2022/05/06 MySQL