pytorch查看torch.Tensor和model是否在CUDA上的实例


Posted in Python onJanuary 03, 2020

今天训练faster R-CNN时,发现之前跑的很好的程序(是指在运行程序过程中,显卡利用率能够一直维持在70%以上),今天看的时候,显卡利用率很低,所以在想是不是我的训练数据torch.Tensor或者模型model没有加载到GPU上训练,于是查找如何查看tensor和model所在设备的命令。

import torch
import torchvision.models as models
model=models.vgg11(pretrained=False)
print(next(model.parameters()).is_cuda)#False

data=torch.ones((5,10))
print(data.device)#cpu

上述是我在自己的笔记本上(显然没有GPU)的打印情况。

上次被老板教授了好久,出现西安卡利用率一直很低的情况千万不能认为它不是问题,而一定要想办法解决。比如可以在加载训练图像的过程中(__getitem__方法中)设定数据增强过程中每个步骤的时间点,对每个步骤的时间点进行打印,判断花费时间较多的是哪些步骤,然后尝试对代码进行优化,因为torhc.utils.data中的__getitem__方法是由CPU上的一个num_workers执行一遍的,如果__getitem__方法执行太慢,则会导致IO速度变慢,即GPU在大多数时间都处于等待CPU读取数据并处理成torch.cuda.tensor的过程,一旦CPU读取一个batch size的数据完毕,GPU很快就计算结束,从而看到的现象是:GPU在绝大多数时间都处于利用率很低的状态。

所以我总结的是,如果GPU显卡利用率比较低,最可能的就是CPU数据IO耗费时间太多(我之前就是由于数据增强的裁剪过程为了裁剪到object使用了for循环,导致这一操作很耗时间),还有可能的原因是数据tensor或者模型model根本就没有加载到GPU cuda上面。其实还有一种可能性很小的原因就是,在网络前向传播的过程中某些特殊的操作对GPU的利用率不高,当然指的是除了网络(卷积,全连接)操作之外的其他的对于tensor的操作,比如我之前的faster R-CNN显卡利用率低就是因为RPN中的NMS算法速度太慢,大约2-3秒一张图,虽然这时候tensor特征图在CUDA上面,而且NMS也使用了CUDA kernel编译后的代码,也就是说NMS的计算仍然是利用的CPU,但是由于NMS算法并行度不高,所以对于GPU的利用不多,导致了显卡利用率低,之前那个是怎么解决的呢?

哈哈,说到底还是环境的问题非常重要,之前的faster R-CNN代码在python2  CUDA9.0 pytorch 0.4.0 环境下编译成功我就没有再仔细纠结环境问题,直接运行了,直到后来偶然换成python3 CUDA9.0 pytorch 0.4.1 环境才极大地提高了显卡利用率,并且通过设置了几十个打印时间点之后发现,真的就是NMS的速度现在基本能维持在0.02-0.2数量级范围内。

下图分别表示之前(显卡利用率很低)时的NMS处理单张图像所消耗的时间(之所以会有长有短是因为我支持不同分辨率的图像训练),后面一张图是GPU利用率一直能维持在很高的情况下NMS处理时间,由于数据增强部分的代码完全没有修改,故而换了环境之后我就没有再打印数据增强每个步骤所消耗的时间了。

pytorch查看torch.Tensor和model是否在CUDA上的实例

pytorch查看torch.Tensor和model是否在CUDA上的实例

以上这篇pytorch查看torch.Tensor和model是否在CUDA上的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python统计文件行数示例分享
Feb 21 Python
windows下Virtualenvwrapper安装教程
Dec 13 Python
python奇偶行分开存储实现代码
Mar 19 Python
详解Python安装scrapy的正确姿势
Jun 26 Python
python绘制多个子图的实例
Jul 07 Python
关于pytorch多GPU训练实例与性能对比分析
Aug 19 Python
python实现逆滤波与维纳滤波示例
Feb 26 Python
Python序列化pickle模块使用详解
Mar 05 Python
如何解决pycharm调试报错的问题
Aug 06 Python
使用OpenCV实现人脸图像卡通化的示例代码
Jan 15 Python
python-for x in range的用法(注意要点、细节)
May 10 Python
Python之Matplotlib绘制热力图和面积图
Apr 13 Python
python实现上传文件到linux指定目录的方法
Jan 03 #Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 #Python
django商品分类及商品数据建模实例详解
Jan 03 #Python
PyTorch和Keras计算模型参数的例子
Jan 02 #Python
Pytorch中实现只导入部分模型参数的方式
Jan 02 #Python
PyTorch中topk函数的用法详解
Jan 02 #Python
Pytorch训练过程出现nan的解决方式
Jan 02 #Python
You might like
PHP实现图片旋转效果实例代码
2014/10/01 PHP
四个PHP非常实用的功能
2015/09/29 PHP
WordPress中获取页面链接和标题的相关PHP函数用法解析
2015/12/17 PHP
laravel 实现用户登录注销并限制功能
2019/10/24 PHP
JQuery中SetTimeOut传参问题探讨
2013/05/10 Javascript
如何设置iframe高度自适应在跨域情况下的可用方法
2013/09/06 Javascript
jquery动态改变div宽度和高度
2015/02/09 Javascript
WordPress中鼠标悬停显示和隐藏评论及引用按钮的实现
2016/01/12 Javascript
js中string和number类型互转换技巧(分享)
2016/11/28 Javascript
Bootstrap jquery.twbsPagination.js动态页码分页实例代码
2017/02/20 Javascript
JavaScript自定义文本框光标
2017/03/05 Javascript
vue.js路由跳转详解
2017/08/28 Javascript
基于JS实现html中placeholder属性提示文字效果示例
2018/04/19 Javascript
详解使用Nuxt.js快速搭建服务端渲染(SSR)应用
2019/03/13 Javascript
vue实现滑动切换效果(仅在手机模式下可用)
2020/06/29 Javascript
vue实现购物车功能(商品分类)
2020/04/20 Javascript
JavaScript实现跟随鼠标移动的盒子
2021/01/28 Javascript
python获取糗百图片代码实例
2013/12/18 Python
Jupyter安装nbextensions,启动提示没有nbextensions库
2020/04/23 Python
Python3单行定义多个变量或赋值方法
2018/07/12 Python
python实时获取外部程序输出结果的方法
2019/01/12 Python
详解python 破解网站反爬虫的两种简单方法
2020/02/09 Python
详解Python遍历列表时删除元素的正确做法
2021/01/07 Python
深入浅析css3 border-image边框图像详解
2015/11/24 HTML / CSS
应届大专毕业生个人自荐信
2013/09/22 职场文书
函授毕业生自我鉴定
2013/11/06 职场文书
2014学雷锋活动心得体会
2014/03/10 职场文书
工程材料采购方案
2014/05/18 职场文书
计算机网络及管理学专业求职信
2014/06/05 职场文书
2015学校六五普法工作总结
2015/04/22 职场文书
2015年党务工作者个人工作总结
2015/10/22 职场文书
2016年基层党组织创先争优承诺书
2016/03/25 职场文书
导游词之崇武古城
2019/10/07 职场文书
详解MySQL的半同步
2021/04/22 MySQL
深入理解Vue的数据响应式
2021/05/15 Vue.js
Java Spring Boot 正确读取配置文件中的属性的值
2022/04/20 Java/Android