pytorch查看torch.Tensor和model是否在CUDA上的实例


Posted in Python onJanuary 03, 2020

今天训练faster R-CNN时,发现之前跑的很好的程序(是指在运行程序过程中,显卡利用率能够一直维持在70%以上),今天看的时候,显卡利用率很低,所以在想是不是我的训练数据torch.Tensor或者模型model没有加载到GPU上训练,于是查找如何查看tensor和model所在设备的命令。

import torch
import torchvision.models as models
model=models.vgg11(pretrained=False)
print(next(model.parameters()).is_cuda)#False

data=torch.ones((5,10))
print(data.device)#cpu

上述是我在自己的笔记本上(显然没有GPU)的打印情况。

上次被老板教授了好久,出现西安卡利用率一直很低的情况千万不能认为它不是问题,而一定要想办法解决。比如可以在加载训练图像的过程中(__getitem__方法中)设定数据增强过程中每个步骤的时间点,对每个步骤的时间点进行打印,判断花费时间较多的是哪些步骤,然后尝试对代码进行优化,因为torhc.utils.data中的__getitem__方法是由CPU上的一个num_workers执行一遍的,如果__getitem__方法执行太慢,则会导致IO速度变慢,即GPU在大多数时间都处于等待CPU读取数据并处理成torch.cuda.tensor的过程,一旦CPU读取一个batch size的数据完毕,GPU很快就计算结束,从而看到的现象是:GPU在绝大多数时间都处于利用率很低的状态。

所以我总结的是,如果GPU显卡利用率比较低,最可能的就是CPU数据IO耗费时间太多(我之前就是由于数据增强的裁剪过程为了裁剪到object使用了for循环,导致这一操作很耗时间),还有可能的原因是数据tensor或者模型model根本就没有加载到GPU cuda上面。其实还有一种可能性很小的原因就是,在网络前向传播的过程中某些特殊的操作对GPU的利用率不高,当然指的是除了网络(卷积,全连接)操作之外的其他的对于tensor的操作,比如我之前的faster R-CNN显卡利用率低就是因为RPN中的NMS算法速度太慢,大约2-3秒一张图,虽然这时候tensor特征图在CUDA上面,而且NMS也使用了CUDA kernel编译后的代码,也就是说NMS的计算仍然是利用的CPU,但是由于NMS算法并行度不高,所以对于GPU的利用不多,导致了显卡利用率低,之前那个是怎么解决的呢?

哈哈,说到底还是环境的问题非常重要,之前的faster R-CNN代码在python2  CUDA9.0 pytorch 0.4.0 环境下编译成功我就没有再仔细纠结环境问题,直接运行了,直到后来偶然换成python3 CUDA9.0 pytorch 0.4.1 环境才极大地提高了显卡利用率,并且通过设置了几十个打印时间点之后发现,真的就是NMS的速度现在基本能维持在0.02-0.2数量级范围内。

下图分别表示之前(显卡利用率很低)时的NMS处理单张图像所消耗的时间(之所以会有长有短是因为我支持不同分辨率的图像训练),后面一张图是GPU利用率一直能维持在很高的情况下NMS处理时间,由于数据增强部分的代码完全没有修改,故而换了环境之后我就没有再打印数据增强每个步骤所消耗的时间了。

pytorch查看torch.Tensor和model是否在CUDA上的实例

pytorch查看torch.Tensor和model是否在CUDA上的实例

以上这篇pytorch查看torch.Tensor和model是否在CUDA上的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之总结参数的传递
Oct 10 Python
Python内置函数之filter map reduce介绍
Nov 30 Python
简单介绍Python中的decode()方法的使用
May 18 Python
Python内置模块ConfigParser实现配置读写功能的方法
Feb 12 Python
python如何读写json数据
Mar 21 Python
python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别
Jun 04 Python
python 不以科学计数法输出的方法
Jul 16 Python
Sanic框架路由用法实例分析
Jul 16 Python
Pytorch之finetune使用详解
Jan 18 Python
Python修改列表值问题解决方案
Mar 06 Python
python+requests接口压力测试500次,查看响应时间的实例
Apr 30 Python
关于pytest结合csv模块实现csv格式的数据驱动问题
May 30 Python
python实现上传文件到linux指定目录的方法
Jan 03 #Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 #Python
django商品分类及商品数据建模实例详解
Jan 03 #Python
PyTorch和Keras计算模型参数的例子
Jan 02 #Python
Pytorch中实现只导入部分模型参数的方式
Jan 02 #Python
PyTorch中topk函数的用法详解
Jan 02 #Python
Pytorch训练过程出现nan的解决方式
Jan 02 #Python
You might like
ucenter通信原理分析
2015/01/09 PHP
PHP编写daemon process详解及实例代码
2016/09/30 PHP
TP3.2框架分页相关实现方法分析
2020/06/03 PHP
6个常见的 PHP 安全性攻击实例和阻止方法
2020/12/16 PHP
JavaScript判断一个URL链接是否有效的实现方法
2011/10/08 Javascript
JavaScript中数组的排序、乱序和搜索实现代码
2011/11/30 Javascript
JavaScript对象创建及继承原理实例解剖
2013/02/28 Javascript
angular.element方法汇总
2015/01/07 Javascript
JS获取CSS样式(style/getComputedStyle/currentStyle)
2016/01/19 Javascript
Js+Ajax,Get和Post在使用上的区别小结
2016/06/08 Javascript
JS全局变量和局部变量最新解析
2016/06/24 Javascript
node.js中fs.stat与fs.fstat的区别详解
2017/06/01 Javascript
webpack-dev-server远程访问配置方法
2018/02/22 Javascript
ES6知识点整理之模块化的应用详解
2019/04/15 Javascript
JS co 函数库的含义和用法实例总结
2020/04/08 Javascript
python实现的一个火车票转让信息采集器
2014/07/09 Python
对numpy数据写入文件的方法讲解
2018/07/09 Python
python 图像的离散傅立叶变换实例
2020/01/02 Python
Python3自动生成MySQL数据字典的markdown文本的实现
2020/05/07 Python
Python实现http接口自动化测试的示例代码
2020/10/09 Python
canvas如何实现多张图片编辑的图片编辑器
2020/03/10 HTML / CSS
香港万宁官方海外旗舰店:香港健与美连锁店
2018/09/27 全球购物
Otticanet英国:最顶尖的世界名牌眼镜, 能得到打折季的价格
2019/02/10 全球购物
Michael Kors澳大利亚官网:世界知名的奢侈饰品和成衣设计师
2020/02/13 全球购物
办公室人员先进事迹
2014/01/27 职场文书
清明节扫墓活动方案
2014/03/02 职场文书
护理专科毕业自荐信范文
2014/04/21 职场文书
保护环境倡议书100字
2014/05/19 职场文书
班训口号大全
2014/06/18 职场文书
安全口号大全
2014/06/21 职场文书
安全责任书
2015/01/29 职场文书
2016自主招生校长推荐信范文
2015/03/23 职场文书
2015年毕业生自荐信范文
2015/03/24 职场文书
三方合作意向书范本
2015/05/09 职场文书
地道战观后感300字
2015/06/04 职场文书
mysql分组后合并显示一个字段的多条数据方式
2022/01/22 MySQL