pytorch查看torch.Tensor和model是否在CUDA上的实例


Posted in Python onJanuary 03, 2020

今天训练faster R-CNN时,发现之前跑的很好的程序(是指在运行程序过程中,显卡利用率能够一直维持在70%以上),今天看的时候,显卡利用率很低,所以在想是不是我的训练数据torch.Tensor或者模型model没有加载到GPU上训练,于是查找如何查看tensor和model所在设备的命令。

import torch
import torchvision.models as models
model=models.vgg11(pretrained=False)
print(next(model.parameters()).is_cuda)#False

data=torch.ones((5,10))
print(data.device)#cpu

上述是我在自己的笔记本上(显然没有GPU)的打印情况。

上次被老板教授了好久,出现西安卡利用率一直很低的情况千万不能认为它不是问题,而一定要想办法解决。比如可以在加载训练图像的过程中(__getitem__方法中)设定数据增强过程中每个步骤的时间点,对每个步骤的时间点进行打印,判断花费时间较多的是哪些步骤,然后尝试对代码进行优化,因为torhc.utils.data中的__getitem__方法是由CPU上的一个num_workers执行一遍的,如果__getitem__方法执行太慢,则会导致IO速度变慢,即GPU在大多数时间都处于等待CPU读取数据并处理成torch.cuda.tensor的过程,一旦CPU读取一个batch size的数据完毕,GPU很快就计算结束,从而看到的现象是:GPU在绝大多数时间都处于利用率很低的状态。

所以我总结的是,如果GPU显卡利用率比较低,最可能的就是CPU数据IO耗费时间太多(我之前就是由于数据增强的裁剪过程为了裁剪到object使用了for循环,导致这一操作很耗时间),还有可能的原因是数据tensor或者模型model根本就没有加载到GPU cuda上面。其实还有一种可能性很小的原因就是,在网络前向传播的过程中某些特殊的操作对GPU的利用率不高,当然指的是除了网络(卷积,全连接)操作之外的其他的对于tensor的操作,比如我之前的faster R-CNN显卡利用率低就是因为RPN中的NMS算法速度太慢,大约2-3秒一张图,虽然这时候tensor特征图在CUDA上面,而且NMS也使用了CUDA kernel编译后的代码,也就是说NMS的计算仍然是利用的CPU,但是由于NMS算法并行度不高,所以对于GPU的利用不多,导致了显卡利用率低,之前那个是怎么解决的呢?

哈哈,说到底还是环境的问题非常重要,之前的faster R-CNN代码在python2  CUDA9.0 pytorch 0.4.0 环境下编译成功我就没有再仔细纠结环境问题,直接运行了,直到后来偶然换成python3 CUDA9.0 pytorch 0.4.1 环境才极大地提高了显卡利用率,并且通过设置了几十个打印时间点之后发现,真的就是NMS的速度现在基本能维持在0.02-0.2数量级范围内。

下图分别表示之前(显卡利用率很低)时的NMS处理单张图像所消耗的时间(之所以会有长有短是因为我支持不同分辨率的图像训练),后面一张图是GPU利用率一直能维持在很高的情况下NMS处理时间,由于数据增强部分的代码完全没有修改,故而换了环境之后我就没有再打印数据增强每个步骤所消耗的时间了。

pytorch查看torch.Tensor和model是否在CUDA上的实例

pytorch查看torch.Tensor和model是否在CUDA上的实例

以上这篇pytorch查看torch.Tensor和model是否在CUDA上的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤
Jan 23 Python
简单学习Python time模块
Apr 29 Python
python中字符串类型json操作的注意事项
May 02 Python
利用 python 对目录下的文件进行过滤删除
Dec 27 Python
python实现嵌套列表平铺的两种方法
Nov 08 Python
Python3匿名函数lambda介绍与使用示例
May 18 Python
Python3之不使用第三方变量,实现交换两个变量的值
Jun 26 Python
浅谈Django中view对数据库的调用方法
Jul 18 Python
django框架模型层功能、组成与用法分析
Jul 30 Python
浅谈python print(xx, flush = True) 全网最清晰的解释
Feb 21 Python
Win 10下Anaconda虚拟环境的教程
May 18 Python
用Python自动清理系统垃圾的实现
Jan 18 Python
python实现上传文件到linux指定目录的方法
Jan 03 #Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 #Python
django商品分类及商品数据建模实例详解
Jan 03 #Python
PyTorch和Keras计算模型参数的例子
Jan 02 #Python
Pytorch中实现只导入部分模型参数的方式
Jan 02 #Python
PyTorch中topk函数的用法详解
Jan 02 #Python
Pytorch训练过程出现nan的解决方式
Jan 02 #Python
You might like
PHP 调试工具Debug Tools
2011/04/30 PHP
PHP 在5.1.* 和5.2.*之间 PDO数据库操作中的不同之处小结
2012/03/07 PHP
PHP实现多图片上传类实例
2014/07/26 PHP
php上传文件问题汇总
2015/01/30 PHP
基于swoole实现多人聊天室
2018/06/14 PHP
jquery 学习之一 对象访问
2010/11/23 Javascript
DB.ASP 用Javascript写ASP很灵活很好用很easy
2011/07/31 Javascript
Jquery 复选框取值兼容FF和IE8(测试有效)
2013/10/29 Javascript
JS实现判断碰撞的方法
2015/02/11 Javascript
javascript手工制作悬浮菜单
2015/02/12 Javascript
jQuery实现带滚动导航效果的全屏滚动相册实例
2015/06/19 Javascript
原生JS实现网络彩票投注效果
2016/09/25 Javascript
JavaScript数据结构之二叉树的遍历算法示例
2017/04/13 Javascript
Vue导出json数据到Excel电子表格的示例
2017/12/04 Javascript
redux.js详解及基本使用
2019/05/24 Javascript
浅谈laytpl 模板空值显示null的解决方法及简单的js表达式
2019/09/19 Javascript
maptalks+three.js+vue webpack实现二维地图上贴三维模型操作
2020/08/10 Javascript
Vue实现摇一摇功能(兼容ios13.3以上)
2021/01/26 Vue.js
python 多进程通信模块的简单实现
2014/02/20 Python
python list数据等间隔抽取并新建list存储的例子
2019/11/27 Python
Python各种扩展名区别点整理
2020/02/27 Python
澳大利亚相机之家:Camera House
2017/11/30 全球购物
Paper Cape官网:美国婴儿和儿童服装品牌
2019/11/02 全球购物
同步和异步有何异同,在什么情况下分别使用他们?举例说明
2014/02/27 面试题
教师实习自我鉴定
2013/12/14 职场文书
音乐节策划方案
2014/06/09 职场文书
低碳生活的宣传标语
2014/06/23 职场文书
安全生产标语大全
2014/10/06 职场文书
批评与自我批评范文
2014/10/15 职场文书
2014年医生工作总结
2014/11/21 职场文书
会计人员岗位职责
2015/02/03 职场文书
Python基础之字符串格式化详解
2021/04/21 Python
python 中的@运算符使用
2021/05/26 Python
Nginx配置Https安全认证的实现
2021/05/26 Servers
pandas中DataFrame数据合并连接(merge、join、concat)
2021/05/30 Python
python函数的两种嵌套方法使用
2022/04/02 Python