Pytorch GPU内存占用很高,但是利用率很低如何解决


Posted in Python onJune 01, 2021

1.GPU 占用率,利用率

输入nvidia-smi来观察显卡的GPU内存占用率(Memory-Usage),显卡的GPU利用率(GPU-util)

GPU内存占用率(Memory-Usage) 往往是由于模型的大小以及batch size的大小,来影响这个指标 显卡的GPU利用率(GPU-util) 往往跟代码有关,有更多的io运算,cpu运算就会导致利用率变低。

比如打印loss, 输出图像,等等

Pytorch GPU内存占用很高,但是利用率很低如何解决

这个时候发现,有一块卡的利用率经常跳到1%,而其他三块卡经常维持在70%以上

2.原因分析

当没有设置好CPU的线程数时,Volatile GPU-Util参数是在反复的跳动的,0%,20%,70%,95%,0%。

这样停息1-2 秒然后又重复起来。其实是GPU在等待数据从CPU传输过来,当从总线传输到GPU之后,GPU逐渐起计算来,利用率会突然升高,但是GPU的算力很强大,0.5秒就基本能处理完数据,所以利用率接下来又会降下去,等待下一个batch的传入。

因此,这个GPU利用率瓶颈在内存带宽和内存介质上以及CPU的性能上面。

最好当然就是换更好的四代或者更强大的内存条,配合更好的CPU。

3.解决方法:

(1)为了提高利用率,首先要将num_workers(线程数)设置得体,4,8,16是几个常选的几个参数。本人测试过,将num_workers设置的非常大,例如,24,32,等,其效率反而降低,因为模型需要将数据平均分配到几个子线程去进行预处理,分发等数据操作,设高了反而影响效率。当然,线程数设置为1,是单个CPU来进行数据的预处理和传输给GPU,效率也会低。其次,当你的服务器或者电脑的内存较大,性能较好的时候,建议打开pin_memory打开,就省掉了将数据从CPU传入到缓存RAM里面,再给传输到GPU上;为True时是直接映射到GPU的相关内存块上,省掉了一点数据传输时间。

(2) 另外的一个方法是,在PyTorch这个框架里面,数据加载Dataloader上做更改和优化,包括num_workers(线程数),pin_memory,会提升速度。解决好数据传输的带宽瓶颈和GPU的运算效率低的问题。在TensorFlow下面,也有这个加载数据的设置。

(3) 修改代码(我遇到的问题)

每个iteration 都写文件了,这个就会导致cpu 一直运算,GPU 等待

Pytorch GPU内存占用很高,但是利用率很低如何解决

造成GPU利用率低还有其他原因

1. CPU数据读取更不上:读到内存+多线程+二进制文件(比如tf record)

2. GPU温度过高,使用功率太大:每次少用几个GPU,降低功耗(但是多卡的作用何在?)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python脚本在Appium库上对移动应用实现自动化测试
Apr 17 Python
详解Django框架中用context来解析模板的方法
Jul 20 Python
Python中的字符串类型基本知识学习教程
Feb 04 Python
numpy中索引和切片详解
Dec 15 Python
Python实现将json文件中向量写入Excel的方法
Mar 26 Python
django-初始配置(纯手写)详解
Jul 30 Python
Django项目中实现使用qq第三方登录功能
Aug 13 Python
Python如何通过百度翻译API实现翻译功能
Apr 02 Python
Python利用Xpath选择器爬取京东网商品信息
Jun 01 Python
解决Tensorflow2.0 tf.keras.Model.load_weights() 报错处理问题
Jun 12 Python
Jupyter安装链接aconda实现过程图解
Nov 02 Python
深入理解python协程
Jun 15 Python
Python爬取英雄联盟MSI直播间弹幕并生成词云图
如何判断pytorch是否支持GPU加速
Jun 01 #Python
pytorch 两个GPU同时训练的解决方案
Jun 01 #Python
使用Django实现商城验证码模块的方法
Jun 01 #Python
pytorch通过训练结果的复现设置随机种子
Jun 01 #Python
matplotlib画混淆矩阵与正确率曲线的实例代码
Jun 01 #Python
详细介绍python类及类的用法
You might like
php FLEA中二叉树数组的遍历输出
2012/09/26 PHP
Fine Uploader文件上传组件应用介绍
2013/01/06 PHP
php返回字符串中所有单词的方法
2015/03/09 PHP
PHP错误处理函数
2016/04/03 PHP
php实现商城购物车的思路和源码分析
2020/07/23 PHP
Jquery 常用方法经典总结
2010/01/28 Javascript
IE之动态添加DOM节点触发window.resize事件
2010/07/27 Javascript
jQuery LigerUI 插件介绍及使用之ligerDrag和ligerResizable示例代码打包
2011/04/06 Javascript
使用js在页面中绘制表格核心代码
2013/09/16 Javascript
jQuery悬停文字提示框插件jquery.tooltipster.js用法示例【附demo源码下载】
2016/07/19 Javascript
javascript和jQuery实现网页实时聊天的ajax长轮询
2016/07/20 Javascript
基于JavaScript实现树形下拉框
2016/08/10 Javascript
JavaScript实现QQ聊天消息展示和评论提交功能
2017/05/22 Javascript
Bootstrap Tooltip显示换行和左对齐的解决方案
2017/10/11 Javascript
Vue中的异步组件函数实现代码
2018/07/20 Javascript
vue element table 表格请求后台排序的方法
2018/09/28 Javascript
浅析vue 函数配置项watch及函数 $watch 源码分享
2018/11/22 Javascript
[01:29]2014DOTA2展望TI 剑指西雅图DK战队专访
2014/06/30 DOTA
使用Node.js和Socket.IO扩展Django的实时处理功能
2015/04/20 Python
python开发之for循环操作实例详解
2015/11/12 Python
编写Python小程序来统计测试脚本的关键字
2016/03/12 Python
python如何修改装饰器中参数
2018/03/20 Python
python项目对接钉钉SDK的实现
2019/07/15 Python
使用OpenCV实现仿射变换—缩放功能
2019/08/29 Python
基于Python的Jenkins的二次开发操作
2020/05/12 Python
CSS3+js实现简单的时钟特效
2015/03/18 HTML / CSS
Madewell美德威尔美国官网:美国休闲服饰品牌
2016/11/25 全球购物
美国最大的农村生活方式零售店:Tractor Supply Company(TSC)
2017/05/15 全球购物
英国历史最悠久的DJ设备供应商:DJ Finance、DJ Warehouse、The DJ Shop
2019/09/04 全球购物
中医药大学毕业生自荐信
2013/11/08 职场文书
小学生家长评语集锦
2014/01/30 职场文书
竞选卫生委员演讲稿
2014/04/28 职场文书
经贸日语专业个人求职信范文
2014/04/29 职场文书
高二英语教学反思
2016/03/03 职场文书
如何利用STAR法则制作留学文书?
2019/08/26 职场文书
九大龙王魂骨,山龙王留下躯干骨,榜首死的最憋屈(被捏碎)
2022/03/18 国漫