pytorch显存一直变大的解决方案


Posted in Python onApril 08, 2021

在代码中添加以下两行可以解决:

torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True

补充:pytorch训练过程显存一直增加的问题

之前遇到了爆显存的问题,卡了很久,试了很多方法,总算解决了。

总结下自己试过的几种方法:

**1. 使用torch.cuda.empty_cache()

在每一个训练epoch后都添加这一行代码,可以让训练从较低显存的地方开始,但并不适用爆显存的问题,随着epoch的增加,最大显存占用仍然会提示out of memory 。

2.使用torch.backends.cudnn.enabled = True 和 torch.backends.cudnn.benchmark = True

原理不太清楚,用法和1一样。但是几乎没有效果,直接pass。

3.最重要的:查看自己的forward函数是否存在泄露。

常需要在forward函数里调用其他子函数,这时候要特别注意:

input尽量不要写在for循环里面!!!

子函数里如果有append()等函数,一定少用,能不用就不用!!!

子函数list一定少用,能不用就不用!!!

总之,子函数一般也不会太复杂,直接写出来,别各种for,嵌套,变量。!!!

补充:Pytorch显存不断增长问题的解决思路

这个问题,我先后遇到过两次,每次都异常艰辛的解决了。

在网上,关于这个问题,你可以找到各种看似不同的解决方案,但是都没能解决我的问题。所以只能自己摸索,在摸索的过程中,有了一个排查问题点的思路。

下面举个例子说一下我的思路。

大体思路

其实思路很简单,就是在代码的运行阶段输出显存占用量,观察在哪一块存在显存剧烈增加或者显存异常变化的情况。

但是在这个过程中要分级确认问题点,也即如果存在三个文件main.py、train.py、model.py。

在此种思路下,应该先在main.py中确定问题点,然后,从main.py中进入到train.py中,再次输出显存占用量,确定问题点在哪。

随后,再从train.py中的问题点,进入到model.py中,再次确认。

如果还有更深层次的调用,可以继续追溯下去。

具体例子

main.py

def train(model,epochs,data):
    for e in range(epochs):
        print("1:{}".format(torch.cuda.memory_allocated(0)))
        train_epoch(model,data)
        print("2:{}".format(torch.cuda.memory_allocated(0)))
        eval(model,data)
        print("3:{}".format(torch.cuda.memory_allocated(0)))

假设1与2之间显存增加极为剧烈,说明问题出在train_epoch中,进一步进入到train.py中。

train.py

def train_epoch(model,data):
    model.train()
    optim=torch.optimizer()
    for batch_data in data:
        print("1:{}".format(torch.cuda.memory_allocated(0)))
        output=model(batch_data)
        print("2:{}".format(torch.cuda.memory_allocated(0)))
        loss=loss(output,data.target)
        print("3:{}".format(torch.cuda.memory_allocated(0)))
        optim.zero_grad()
        print("4:{}".format(torch.cuda.memory_allocated(0)))
        loss.backward()
        print("5:{}".format(torch.cuda.memory_allocated(0)))
        utils.func(model)
        print("6:{}".format(torch.cuda.memory_allocated(0)))

如果在1,2之间,5,6之间同时出现显存增加异常的情况。此时需要使用控制变量法,例如我们先让5,6之间的代码失效,然后运行,观察是否仍然存在显存爆炸。如果没有,说明问题就出在5,6之间下一级的代码中。进入到下一级代码,进行调试:

utils.py

def func(model):
print("1:{}".format(torch.cuda.memory_allocated(0)))
a=f1(model)
print("2:{}".format(torch.cuda.memory_allocated(0)))
b=f2(a)
print("3:{}".format(torch.cuda.memory_allocated(0)))
c=f3(b)
print("4:{}".format(torch.cuda.memory_allocated(0)))
d=f4(c)
print("5:{}".format(torch.cuda.memory_allocated(0)))

此时我们再展示另一种调试思路,先注释第5行之后的代码,观察显存是否存在先训爆炸,如果没有,则注释掉第7行之后的,直至确定哪一行的代码出现导致了显存爆炸。假设第9行起作用后,代码出现显存爆炸,说明问题出在第九行,显存爆炸的问题锁定。

几种导致显存爆炸的情况

pytorch的hook机制可能导致,显存爆炸,hook函数取出某一层的输入输出跟权重后,不可进行存储,修改等操作,这会造成hook不能回收,进而导致取出的输入输出权重都可能不被pytorch回收,所以模型的负担越来也大,最终导致显存爆炸。

这种情况是我第二次遇到显存爆炸查出来的,非常让人匪夷所思。在如下代码中,p.sub_(torch.mm(k, torch.t(k)) / (alpha + torch.mm(r, k))),导致了显存爆炸,这个问题点就是通过上面的方法确定的。

这个P是一个矩阵,在使用p.sub_的方式更新P的时候,导致了显存爆炸。

将这行代码修改为p=p-(torch.mm(k, torch.t(k)) / (alpha + torch.mm(r, k))),显存爆炸的问题解决。

def pro_weight(p, x, w, alpha=1.0, cnn=True, stride=1):
                if cnn:
                    _, _, H, W = x.shape
                    F, _, HH, WW = w.shape
                    S = stride  # stride
                    Ho = int(1 + (H - HH) / S)
                    Wo = int(1 + (W - WW) / S)
                    for i in range(Ho):
                        for j in range(Wo):
                            # N*C*HH*WW, C*HH*WW = N*C*HH*WW, sum -> N*1
                            r = x[:, :, i * S: i * S + HH, j * S: j * S + WW].contiguous().view(1, -1)
                            # r = r[:, range(r.shape[1] - 1, -1, -1)]
                            k = torch.mm(p, torch.t(r))
                            p.sub_(torch.mm(k, torch.t(k)) / (alpha + torch.mm(r, k)))
                    w.grad.data = torch.mm(w.grad.data.view(F, -1), torch.t(p.data)).view_as(w)
                else:
                    r = x
                    k = torch.mm(p, torch.t(r))
                    p.sub_(torch.mm(k, torch.t(k)) / (alpha + torch.mm(r, k)))
                    w.grad.data = torch.mm(w.grad.data, torch.t(p.data))

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
python用于url解码和中文解析的小脚本(python url decoder)
Aug 11 Python
简单谈谈python中的多进程
Nov 06 Python
Python判断字符串是否为字母或者数字(浮点数)的多种方法
Aug 03 Python
python读取txt文件并取其某一列数据的示例
Feb 19 Python
Python基于opencv实现的简单画板功能示例
Mar 04 Python
Python学习笔记之字符串和字符串方法实例详解
Aug 22 Python
python设置随机种子实例讲解
Sep 12 Python
python tkinter图形界面代码统计工具
Sep 18 Python
用Python解数独的方法示例
Oct 24 Python
Python print不能立即打印的解决方式
Feb 19 Python
python 已知平行四边形三个点,求第四个点的案例
Apr 12 Python
Python3利用openpyxl读写Excel文件的方法实例
Feb 03 Python
Python文件的操作示例的详细讲解
Django展示可视化图表的多种方式
python tkinter模块的简单使用
python如何在word中存储本地图片
python 下载文件的几种方式分享
Apr 07 #Python
完美处理python与anaconda环境变量的冲突问题
python 如何用map()函数创建多线程任务
You might like
用session做客户验证时的注意事项
2006/10/09 PHP
PHP下通过file_get_contents的代理使用方法
2011/02/16 PHP
360通用php防护代码(使用操作详解)
2013/06/18 PHP
PHP判断浏览器、判断语言代码分享
2015/03/05 PHP
php分割合并两个字符串的函数实例
2015/06/19 PHP
PHP编写daemon process详解及实例代码
2016/09/30 PHP
Laravel框架使用Redis的方法详解
2018/05/30 PHP
thinkPHP事务操作简单案例分析
2019/10/17 PHP
javascript制作的cookie封装及使用指南
2015/01/02 Javascript
js Calender控件使用详解
2015/01/05 Javascript
《JavaScript DOM 编程艺术》读书笔记之JavaScript 简史
2015/01/09 Javascript
jQuery+CSS3实现树叶飘落特效
2015/02/01 Javascript
Javascript获取统一管理的提示语(message)
2016/02/03 Javascript
JavaScript的函数式编程基础指南
2016/03/19 Javascript
基于jquery二维码生成插件qrcode
2017/01/07 Javascript
详解用node编写自己的cli工具
2017/05/23 Javascript
vue-cli webpack2项目打包优化分享
2018/02/07 Javascript
使用webpack3.0配置webpack-dev-server教程
2018/05/29 Javascript
vue elementUI tree树形控件获取父节点ID的实例
2018/09/12 Javascript
使用vue重构资讯页面的实例代码解析
2019/11/26 Javascript
[01:08]DOTA2次级职业联赛 - Wings 战队宣传片
2014/12/01 DOTA
[01:05]主宰至宝剑心之遗
2017/03/16 DOTA
python使用chardet判断字符串编码的方法
2015/03/13 Python
Python实现的彩票机选器实例
2015/06/17 Python
使用python在本地电脑上快速处理数据
2017/06/22 Python
python Web开发你要理解的WSGI & uwsgi详解
2018/08/01 Python
Python基于机器学习方法实现的电影推荐系统实例详解
2019/06/25 Python
一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系
2020/07/03 Python
如何用PyPy让你的Python代码运行得更快
2020/12/02 Python
iPad和Surface Pro蓝牙键盘:Brydge
2018/11/10 全球购物
物流管理毕业生自荐信范文
2014/03/15 职场文书
企业财务总监岗位职责
2015/04/03 职场文书
煤矿安全生产管理协议书
2016/03/22 职场文书
Nginx快速入门教程
2021/03/31 Servers
Nginx开启Brotli压缩算法实现过程详解
2021/03/31 Servers
pycharm无法安装cv2模块问题
2022/05/20 Python