pytorch查看torch.Tensor和model是否在CUDA上的实例


Posted in Python onJanuary 03, 2020

今天训练faster R-CNN时,发现之前跑的很好的程序(是指在运行程序过程中,显卡利用率能够一直维持在70%以上),今天看的时候,显卡利用率很低,所以在想是不是我的训练数据torch.Tensor或者模型model没有加载到GPU上训练,于是查找如何查看tensor和model所在设备的命令。

import torch
import torchvision.models as models
model=models.vgg11(pretrained=False)
print(next(model.parameters()).is_cuda)#False

data=torch.ones((5,10))
print(data.device)#cpu

上述是我在自己的笔记本上(显然没有GPU)的打印情况。

上次被老板教授了好久,出现西安卡利用率一直很低的情况千万不能认为它不是问题,而一定要想办法解决。比如可以在加载训练图像的过程中(__getitem__方法中)设定数据增强过程中每个步骤的时间点,对每个步骤的时间点进行打印,判断花费时间较多的是哪些步骤,然后尝试对代码进行优化,因为torhc.utils.data中的__getitem__方法是由CPU上的一个num_workers执行一遍的,如果__getitem__方法执行太慢,则会导致IO速度变慢,即GPU在大多数时间都处于等待CPU读取数据并处理成torch.cuda.tensor的过程,一旦CPU读取一个batch size的数据完毕,GPU很快就计算结束,从而看到的现象是:GPU在绝大多数时间都处于利用率很低的状态。

所以我总结的是,如果GPU显卡利用率比较低,最可能的就是CPU数据IO耗费时间太多(我之前就是由于数据增强的裁剪过程为了裁剪到object使用了for循环,导致这一操作很耗时间),还有可能的原因是数据tensor或者模型model根本就没有加载到GPU cuda上面。其实还有一种可能性很小的原因就是,在网络前向传播的过程中某些特殊的操作对GPU的利用率不高,当然指的是除了网络(卷积,全连接)操作之外的其他的对于tensor的操作,比如我之前的faster R-CNN显卡利用率低就是因为RPN中的NMS算法速度太慢,大约2-3秒一张图,虽然这时候tensor特征图在CUDA上面,而且NMS也使用了CUDA kernel编译后的代码,也就是说NMS的计算仍然是利用的CPU,但是由于NMS算法并行度不高,所以对于GPU的利用不多,导致了显卡利用率低,之前那个是怎么解决的呢?

哈哈,说到底还是环境的问题非常重要,之前的faster R-CNN代码在python2  CUDA9.0 pytorch 0.4.0 环境下编译成功我就没有再仔细纠结环境问题,直接运行了,直到后来偶然换成python3 CUDA9.0 pytorch 0.4.1 环境才极大地提高了显卡利用率,并且通过设置了几十个打印时间点之后发现,真的就是NMS的速度现在基本能维持在0.02-0.2数量级范围内。

下图分别表示之前(显卡利用率很低)时的NMS处理单张图像所消耗的时间(之所以会有长有短是因为我支持不同分辨率的图像训练),后面一张图是GPU利用率一直能维持在很高的情况下NMS处理时间,由于数据增强部分的代码完全没有修改,故而换了环境之后我就没有再打印数据增强每个步骤所消耗的时间了。

pytorch查看torch.Tensor和model是否在CUDA上的实例

pytorch查看torch.Tensor和model是否在CUDA上的实例

以上这篇pytorch查看torch.Tensor和model是否在CUDA上的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中getattr函数使用方法 getattr实现工厂模式
Jan 20 Python
详解python基础之while循环及if判断
Aug 24 Python
利用python将xml文件解析成html文件的实现方法
Dec 22 Python
Python回文字符串及回文数字判定功能示例
Mar 20 Python
对numpy中array和asarray的区别详解
Apr 17 Python
解决python3捕获cx_oracle抛出的异常错误问题
Oct 18 Python
树莓派使用USB摄像头和motion实现监控
Jun 22 Python
python算法与数据结构之单链表的实现代码
Jun 27 Python
django中forms组件的使用与注意
Jul 08 Python
tensorflow 只恢复部分模型参数的实例
Jan 06 Python
Python属性和内建属性实例解析
Jan 14 Python
python 爬虫之selenium可视化爬虫的实现
Dec 04 Python
python实现上传文件到linux指定目录的方法
Jan 03 #Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 #Python
django商品分类及商品数据建模实例详解
Jan 03 #Python
PyTorch和Keras计算模型参数的例子
Jan 02 #Python
Pytorch中实现只导入部分模型参数的方式
Jan 02 #Python
PyTorch中topk函数的用法详解
Jan 02 #Python
Pytorch训练过程出现nan的解决方式
Jan 02 #Python
You might like
php GeoIP的使用教程
2011/03/09 PHP
解析php session_set_save_handler 函数的用法(mysql)
2013/06/29 PHP
跟我学Laravel之请求(Request)的生命周期
2014/10/15 PHP
YII视图整合kindeditor扩展的方法
2016/07/13 PHP
php中Ioc(控制反转)和Di(依赖注入)
2017/05/07 PHP
javascript中的有名函数和无名函数
2007/10/17 Javascript
Jquery下attr和removeAttr的使用方法
2010/12/28 Javascript
表单提交前触发函数返回true表单才会提交
2014/03/11 Javascript
JS动态加载当前时间的方法
2015/02/09 Javascript
html5+javascript实现简单上传的注意细节
2016/04/18 Javascript
jquery html5 视频播放控制代码
2016/11/06 Javascript
基于Phantomjs生成PDF的实现方法
2016/11/07 Javascript
Bootstrap中datetimepicker使用小结
2016/12/28 Javascript
JavaScript运动框架 解决防抖动问题、悬浮对联(二)
2017/05/17 Javascript
关于vue.js v-bind 的一些理解和思考
2017/06/06 Javascript
JS 遍历 json 和 JQuery 遍历json操作完整示例
2019/11/11 jQuery
Vue2.4+新增属性.sync、$attrs、$listeners的具体使用
2020/03/08 Javascript
js实现简单的点名器随机色实例代码
2020/09/20 Javascript
python字典基本操作实例分析
2015/07/11 Python
关于python的list相关知识(推荐)
2017/08/30 Python
如何用python整理附件
2018/05/13 Python
windows下 兼容Python2和Python3的解决方法
2018/12/05 Python
Python minidom模块用法示例【DOM写入和解析XML】
2019/03/25 Python
pandas dataframe 中的explode函数用法详解
2020/05/18 Python
美国最大的珠宝首饰网上商城:Jewelry.com
2016/07/22 全球购物
市场营销管理毕业生自荐信
2014/03/03 职场文书
征婚广告词
2014/03/17 职场文书
教师节促销方案
2014/03/22 职场文书
环保专项行动方案
2014/05/12 职场文书
公司保洁员岗位职责
2015/02/13 职场文书
选调生挂职锻炼工作总结
2015/10/23 职场文书
学生会宣传部竞选稿
2015/11/21 职场文书
反邪教学习心得体会
2016/01/15 职场文书
SQL语句中JOIN的用法场景分析
2021/07/25 SQL Server
SpringMVC 整合SSM框架详解
2021/08/30 Java/Android
Python中request的基本使用解决乱码问题
2022/04/12 Python