pytorch查看torch.Tensor和model是否在CUDA上的实例


Posted in Python onJanuary 03, 2020

今天训练faster R-CNN时,发现之前跑的很好的程序(是指在运行程序过程中,显卡利用率能够一直维持在70%以上),今天看的时候,显卡利用率很低,所以在想是不是我的训练数据torch.Tensor或者模型model没有加载到GPU上训练,于是查找如何查看tensor和model所在设备的命令。

import torch
import torchvision.models as models
model=models.vgg11(pretrained=False)
print(next(model.parameters()).is_cuda)#False

data=torch.ones((5,10))
print(data.device)#cpu

上述是我在自己的笔记本上(显然没有GPU)的打印情况。

上次被老板教授了好久,出现西安卡利用率一直很低的情况千万不能认为它不是问题,而一定要想办法解决。比如可以在加载训练图像的过程中(__getitem__方法中)设定数据增强过程中每个步骤的时间点,对每个步骤的时间点进行打印,判断花费时间较多的是哪些步骤,然后尝试对代码进行优化,因为torhc.utils.data中的__getitem__方法是由CPU上的一个num_workers执行一遍的,如果__getitem__方法执行太慢,则会导致IO速度变慢,即GPU在大多数时间都处于等待CPU读取数据并处理成torch.cuda.tensor的过程,一旦CPU读取一个batch size的数据完毕,GPU很快就计算结束,从而看到的现象是:GPU在绝大多数时间都处于利用率很低的状态。

所以我总结的是,如果GPU显卡利用率比较低,最可能的就是CPU数据IO耗费时间太多(我之前就是由于数据增强的裁剪过程为了裁剪到object使用了for循环,导致这一操作很耗时间),还有可能的原因是数据tensor或者模型model根本就没有加载到GPU cuda上面。其实还有一种可能性很小的原因就是,在网络前向传播的过程中某些特殊的操作对GPU的利用率不高,当然指的是除了网络(卷积,全连接)操作之外的其他的对于tensor的操作,比如我之前的faster R-CNN显卡利用率低就是因为RPN中的NMS算法速度太慢,大约2-3秒一张图,虽然这时候tensor特征图在CUDA上面,而且NMS也使用了CUDA kernel编译后的代码,也就是说NMS的计算仍然是利用的CPU,但是由于NMS算法并行度不高,所以对于GPU的利用不多,导致了显卡利用率低,之前那个是怎么解决的呢?

哈哈,说到底还是环境的问题非常重要,之前的faster R-CNN代码在python2  CUDA9.0 pytorch 0.4.0 环境下编译成功我就没有再仔细纠结环境问题,直接运行了,直到后来偶然换成python3 CUDA9.0 pytorch 0.4.1 环境才极大地提高了显卡利用率,并且通过设置了几十个打印时间点之后发现,真的就是NMS的速度现在基本能维持在0.02-0.2数量级范围内。

下图分别表示之前(显卡利用率很低)时的NMS处理单张图像所消耗的时间(之所以会有长有短是因为我支持不同分辨率的图像训练),后面一张图是GPU利用率一直能维持在很高的情况下NMS处理时间,由于数据增强部分的代码完全没有修改,故而换了环境之后我就没有再打印数据增强每个步骤所消耗的时间了。

pytorch查看torch.Tensor和model是否在CUDA上的实例

pytorch查看torch.Tensor和model是否在CUDA上的实例

以上这篇pytorch查看torch.Tensor和model是否在CUDA上的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之有容乃大的list(4)
Sep 28 Python
Python的Django框架中使用SQLAlchemy操作数据库的教程
Jun 02 Python
python 字符串转列表 list 出现\ufeff的解决方法
Jun 22 Python
Python3.6 Schedule模块定时任务(实例讲解)
Nov 09 Python
Python实现mysql数据库更新表数据接口的功能
Nov 19 Python
浅谈Python中的私有变量
Feb 28 Python
TensorFlow搭建神经网络最佳实践
Mar 09 Python
Python3.5 Pandas模块之Series用法实例分析
Apr 23 Python
pytorch神经网络之卷积层与全连接层参数的设置方法
Aug 18 Python
python的命名规则知识点总结
Oct 04 Python
升级keras解决load_weights()中的未定义skip_mismatch关键字问题
Jun 12 Python
Python3中最常用的5种线程锁实例总结
Jul 07 Python
python实现上传文件到linux指定目录的方法
Jan 03 #Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 #Python
django商品分类及商品数据建模实例详解
Jan 03 #Python
PyTorch和Keras计算模型参数的例子
Jan 02 #Python
Pytorch中实现只导入部分模型参数的方式
Jan 02 #Python
PyTorch中topk函数的用法详解
Jan 02 #Python
Pytorch训练过程出现nan的解决方式
Jan 02 #Python
You might like
详解PHP显示MySQL数据的三种方法
2008/06/05 PHP
PHP下 Mongodb 连接远程数据库的实例代码
2017/08/30 PHP
js压缩利器
2007/02/20 Javascript
jQuery UI AutoComplete 自动完成使用小记
2010/08/21 Javascript
javascript中match函数的用法小结
2014/02/08 Javascript
node.js中的dns.getServers方法使用说明
2014/12/08 Javascript
用JavaScript来美化HTML的select标签的下拉列表效果
2015/11/17 Javascript
浅谈JavaScript 执行环境、作用域及垃圾回收
2016/05/31 Javascript
JS点击某个图标或按钮弹出文件选择框的实现代码
2016/09/27 Javascript
Node.js中常规的文件操作总结
2016/10/13 Javascript
JavaScript基础——使用Canvas绘图
2016/11/02 Javascript
javascript实现右下角广告框效果
2017/02/01 Javascript
基于vue实现swipe轮播组件实例代码
2017/05/24 Javascript
jQuery实现通过方向键控制div块上下左右移动的方法【测试可用】
2018/04/26 jQuery
解决angular2 获取到的数据无法实时更新的问题
2018/08/31 Javascript
详解微信图片防盗链“此图片来自微信公众平台 未经允许不得引用”的解决方案
2019/04/04 Javascript
JavaScript原型式继承实现方法
2019/11/06 Javascript
Vue+ElementUI table实现表格分页
2019/12/14 Javascript
浅谈vue权限管理实现及流程
2020/04/23 Javascript
Angular+Ionic使用queryParams实现跳转页传值的方法
2020/09/05 Javascript
python通过pil将图片转换成黑白效果的方法
2015/03/16 Python
Python读写文件方法总结
2015/06/09 Python
python实现的系统实用log类实例
2015/06/30 Python
详解python的webrtc库实现语音端点检测
2017/05/31 Python
python3读取csv和xlsx文件的实例
2018/06/22 Python
mac下如何将python2.7改为python3
2018/07/13 Python
python 比较字典value的最大值的几种方法
2020/04/17 Python
python连接mysql数据库并读取数据的实现
2020/09/25 Python
CSS3的transition和animation的用法实例介绍
2014/08/20 HTML / CSS
浅谈cookie和localStorage那些事
2019/08/27 HTML / CSS
HTML5 Canvas实现平移/放缩/旋转deom示例(附截图)
2013/07/04 HTML / CSS
执行总经理岗位职责
2014/02/03 职场文书
新闻学专业个人求职信写作
2014/02/04 职场文书
《高尔基和他的儿子》教学反思
2014/04/09 职场文书
解决hive中导入text文件遇到的坑
2021/04/07 Python
Django集成富文本编辑器summernote的实现步骤
2021/05/31 Python