详解Pytorch显存动态分配规律探索


Posted in Python onNovember 17, 2020

下面通过实验来探索Pytorch分配显存的方式。

实验显存到主存

我使用VSCode的jupyter来进行实验,首先只导入pytorch,代码如下:

import torch

打开任务管理器查看主存与显存情况。情况分别如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

在显存中创建1GB的张量,赋值给a,代码如下:

a = torch.zeros([256,1024,1024],device= 'cpu')

查看主存与显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

可以看到主存与显存都变大了,而且显存不止变大了1G,多出来的内存是pytorch运行所需的一些配置变量,我们这里忽略。

再次在显存中创建一个1GB的张量,赋值给b,代码如下:

b = torch.zeros([256,1024,1024],device= 'cpu')

查看主显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

这次主存大小没变,显存变高了1GB,这是合情合理的。然后我们将b移动到主存中,代码如下:

b = b.to('cpu') 

查看主显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

发现主存是变高了1GB,显存却只变小了0.1GB,好像只是将显存张量复制到主存一样。实际上,pytorch的确是复制了一份张量到主存中,但它也对显存中这个张量的移动进行了记录。我们接着执行以下代码,再创建1GB的张量赋值给c:

c = torch.zeros([256,1024,1024],device= 'cuda')

查看主显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

发现只有显存大小变大了0.1GB,这说明,Pytorch的确记录了显存中张量的移动,只是没有立即将显存空间释放,它选择在下一次创建新变量时覆盖这个位置。接下来,我们重复执行上面这行代码:

c = torch.zeros([256,1024,1024],device= 'cuda') 

主显存情况如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

明明我们把张量c给覆盖了,显存内容却变大了,这是为什么呢?实际上,Pytorch在执行这句代码时,是首先找到可使用的显存位置,创建这1GB的张量,然后再赋值给c。但因为在新创建这个张量时,原本的c依然占有1GB的显存,pytorch只能先调取另外1GB显存来创建这个张量,再将这个张量赋值给c。这样一来,原本的那个c所在的显存内容就空出来了,但和前面说的一样,pytorch并不会立即释放这里的显存,而等待下一次的覆盖,所以显存大小并没有减小。

我们再创建1GB的d张量,就可以验证上面的猜想,代码如下:

d = torch.zeros([256,1024,1024],device= 'cuda') 

主显存情况如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

显存大小并没有变,就是因为pytorch将新的张量创建在了上一步c空出来的位置,然后再赋值给了d。另外,删除变量操作也同样不会立即释放显存:

del d

主显存情况:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

显存没有变化,同样是等待下一次的覆盖。

主存到显存

接着上面的实验,我们创建直接在主存创建1GB的张量并赋值给e,代码如下:

e = torch.zeros([256,1024,1024],device= 'cpu')

主显存情况如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

主存变大1GB,合情合理。然后将e移动到显存,代码如下:

e = e.to('cuda')

主显存情况如下:

详解Pytorch显存动态分配规律探索

详解Pytorch显存动态分配规律探索

主存变小1GB,显存没变是因为上面张量d被删除没有被覆盖,合情合理。说明主存的释放是立即执行的。

总结

通过上面的实验,我们了解到,pytorch不会立即释放显存中失效变量的内存,它会以覆盖的方式利用显存中的可用空间。另外,如果要重置显存中的某个规模较大的张量,最好先将它移动到主存中,或是直接删除,再创建新值,否则就需要两倍的内存来实现这个操作,就有可能出现显存不够用的情况。

实验代码汇总如下:

#%% 
import torch
#%%
a = torch.zeros([256,1024,1024],device= 'cuda') 
#%%
b = torch.zeros([256,1024,1024],device= 'cuda') 
#%%
b = b.to('cpu')
#%%
c = torch.zeros([256,1024,1024],device= 'cuda') 
#%%
c = torch.zeros([256,1024,1024],device= 'cuda') 
#%% 
d = torch.zeros([256,1024,1024],device= 'cuda') 
#%%
del d 
#%% 
e = torch.zeros([256,1024,1024],device= 'cpu') 
#%%
e = e.to('cuda')

到此这篇关于Pytorch显存动态分配规律探索的文章就介绍到这了,更多相关Pytorc显存分配规律内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python格式化压缩后的JS文件的方法
Mar 05 Python
理解python正则表达式
Jan 15 Python
Python实现批量更换指定目录下文件扩展名的方法
Sep 19 Python
Python操作MySQL模拟银行转账
Mar 12 Python
Python标准库shutil用法实例详解
Aug 13 Python
pytorch 图像中的数据预处理和批标准化实例
Jan 15 Python
Python3读写Excel文件(使用xlrd,xlsxwriter,openpyxl3种方式读写实例与优劣)
Feb 13 Python
基于Python下载网络图片方法汇总代码实例
Jun 24 Python
Python为何不支持switch语句原理详解
Oct 21 Python
python 实现数据库中数据添加、查询与更新的示例代码
Dec 07 Python
Python基本数据类型之字符串str
Jul 21 Python
asyncio异步编程之Task对象详解
Mar 13 Python
Python调用ffmpeg开源视频处理库,批量处理视频
Nov 16 #Python
python tkinter实现连连看游戏
Nov 16 #Python
详解python os.path.exists判断文件或文件夹是否存在
Nov 16 #Python
Python 删除List元素的三种方法remove、pop、del
Nov 16 #Python
python 从list中随机取值的方法
Nov 16 #Python
python实现在列表中查找某个元素的下标示例
Nov 16 #Python
python如何获得list或numpy数组中最大元素对应的索引
Nov 16 #Python
You might like
第4章 数据处理-php正则表达式-郑阿奇(续)
2011/07/04 PHP
Apache连接PHP后无法启动问题解决思路
2015/06/18 PHP
php fseek函数读取大文件两种方法
2016/10/12 PHP
PHP实现基于栈的后缀表达式求值功能
2017/11/10 PHP
PHP四种排序算法实现及效率分析【冒泡排序,插入排序,选择排序和快速排序】
2018/04/27 PHP
PHP convert_cyr_string()函数讲解
2019/02/13 PHP
PHP中的自动加载操作实现方法详解
2019/08/06 PHP
JavaScript栏目列表隐藏/显示简单实现
2013/04/03 Javascript
如何通过javascript操作web控件的自定义属性
2013/11/25 Javascript
点击弹出层效果&弹出窗口后网页背景变暗效果的实现代码
2014/02/10 Javascript
jQuery和AngularJS的区别浅析
2015/01/29 Javascript
基于Bootstrap实现下拉菜单项和表单导航条(两个菜单项,一个下拉菜单和登录表单导航条)
2016/07/22 Javascript
xcode中获取js文件的路径方法(推荐)
2016/11/05 Javascript
Extjs让combobox写起来简洁又漂亮
2017/01/05 Javascript
jQuery插件ContextMenu自定义图标
2017/03/15 Javascript
node文件批量重命名的方法示例
2017/10/23 Javascript
vue2导航根据路由传值,而改变导航内容的实例
2017/11/10 Javascript
JS函数参数的传递与同名参数实例分析
2020/03/16 Javascript
详解JavaScript中new操作符的解析和实现
2020/09/04 Javascript
跟老齐学Python之赋值,简单也不简单
2014/09/24 Python
python根据出生年份简单计算生肖的方法
2015/03/27 Python
对Python新手编程过程中如何规避一些常见问题的建议
2015/04/01 Python
Python3 利用requests 库进行post携带账号密码请求数据的方法
2018/10/26 Python
对python opencv 添加文字 cv2.putText 的各参数介绍
2018/12/05 Python
如何使用python爬虫爬取要登陆的网站
2019/07/12 Python
pytorch实现mnist数据集的图像可视化及保存
2020/01/14 Python
python 操作mysql数据中fetchone()和fetchall()方式
2020/05/15 Python
CSS3正方体旋转示例代码
2013/08/08 HTML / CSS
HTML5触摸事件实现移动端简易进度条的实现方法
2018/05/04 HTML / CSS
美国知名眼镜网站:Target Optical
2020/04/04 全球购物
学生自我鉴定模板
2013/12/30 职场文书
人事主管岗位职责
2015/02/04 职场文书
反腐倡廉主题教育活动总结
2015/05/07 职场文书
Redis安装启动及常见数据类型
2021/04/14 Redis
python实现一个简单的贪吃蛇游戏附代码
2022/06/28 Python
mysqldump进行数据备份详解
2022/07/15 MySQL