pytorch查看torch.Tensor和model是否在CUDA上的实例


Posted in Python onJanuary 03, 2020

今天训练faster R-CNN时,发现之前跑的很好的程序(是指在运行程序过程中,显卡利用率能够一直维持在70%以上),今天看的时候,显卡利用率很低,所以在想是不是我的训练数据torch.Tensor或者模型model没有加载到GPU上训练,于是查找如何查看tensor和model所在设备的命令。

import torch
import torchvision.models as models
model=models.vgg11(pretrained=False)
print(next(model.parameters()).is_cuda)#False

data=torch.ones((5,10))
print(data.device)#cpu

上述是我在自己的笔记本上(显然没有GPU)的打印情况。

上次被老板教授了好久,出现西安卡利用率一直很低的情况千万不能认为它不是问题,而一定要想办法解决。比如可以在加载训练图像的过程中(__getitem__方法中)设定数据增强过程中每个步骤的时间点,对每个步骤的时间点进行打印,判断花费时间较多的是哪些步骤,然后尝试对代码进行优化,因为torhc.utils.data中的__getitem__方法是由CPU上的一个num_workers执行一遍的,如果__getitem__方法执行太慢,则会导致IO速度变慢,即GPU在大多数时间都处于等待CPU读取数据并处理成torch.cuda.tensor的过程,一旦CPU读取一个batch size的数据完毕,GPU很快就计算结束,从而看到的现象是:GPU在绝大多数时间都处于利用率很低的状态。

所以我总结的是,如果GPU显卡利用率比较低,最可能的就是CPU数据IO耗费时间太多(我之前就是由于数据增强的裁剪过程为了裁剪到object使用了for循环,导致这一操作很耗时间),还有可能的原因是数据tensor或者模型model根本就没有加载到GPU cuda上面。其实还有一种可能性很小的原因就是,在网络前向传播的过程中某些特殊的操作对GPU的利用率不高,当然指的是除了网络(卷积,全连接)操作之外的其他的对于tensor的操作,比如我之前的faster R-CNN显卡利用率低就是因为RPN中的NMS算法速度太慢,大约2-3秒一张图,虽然这时候tensor特征图在CUDA上面,而且NMS也使用了CUDA kernel编译后的代码,也就是说NMS的计算仍然是利用的CPU,但是由于NMS算法并行度不高,所以对于GPU的利用不多,导致了显卡利用率低,之前那个是怎么解决的呢?

哈哈,说到底还是环境的问题非常重要,之前的faster R-CNN代码在python2  CUDA9.0 pytorch 0.4.0 环境下编译成功我就没有再仔细纠结环境问题,直接运行了,直到后来偶然换成python3 CUDA9.0 pytorch 0.4.1 环境才极大地提高了显卡利用率,并且通过设置了几十个打印时间点之后发现,真的就是NMS的速度现在基本能维持在0.02-0.2数量级范围内。

下图分别表示之前(显卡利用率很低)时的NMS处理单张图像所消耗的时间(之所以会有长有短是因为我支持不同分辨率的图像训练),后面一张图是GPU利用率一直能维持在很高的情况下NMS处理时间,由于数据增强部分的代码完全没有修改,故而换了环境之后我就没有再打印数据增强每个步骤所消耗的时间了。

pytorch查看torch.Tensor和model是否在CUDA上的实例

pytorch查看torch.Tensor和model是否在CUDA上的实例

以上这篇pytorch查看torch.Tensor和model是否在CUDA上的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用Python编写一个简单的FUSE文件系统的教程
Apr 02 Python
Python使用multiprocessing实现一个最简单的分布式作业调度系统
Mar 14 Python
Python实现pdf文档转txt的方法示例
Jan 19 Python
关于Tensorflow中的tf.train.batch函数的使用
Apr 24 Python
Python常见读写文件操作实例总结【文本、json、csv、pdf等】
Apr 15 Python
PyQt5 QListWidget选择多项并返回的实例
Jun 17 Python
深入学习python多线程与GIL
Aug 26 Python
Python进程间通信 multiProcessing Queue队列实现详解
Sep 23 Python
python 并发下载器实现方法示例
Nov 22 Python
Python ckeditor富文本编辑器代码实例解析
Jun 22 Python
python怎么自定义捕获错误
Jun 29 Python
Python中生成ndarray实例讲解
Feb 22 Python
python实现上传文件到linux指定目录的方法
Jan 03 #Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 #Python
django商品分类及商品数据建模实例详解
Jan 03 #Python
PyTorch和Keras计算模型参数的例子
Jan 02 #Python
Pytorch中实现只导入部分模型参数的方式
Jan 02 #Python
PyTorch中topk函数的用法详解
Jan 02 #Python
Pytorch训练过程出现nan的解决方式
Jan 02 #Python
You might like
PHP采集利器 Snoopy 试用心得
2011/07/03 PHP
php实现的农历算法实例
2015/08/11 PHP
ThinkPHP简单使用memcache缓存的方法
2016/11/15 PHP
php_pdo 预处理语句详解
2016/11/21 PHP
gearman中任务的优先级和返回状态实例分析
2020/02/27 PHP
js 覆盖和重载 函数
2009/09/25 Javascript
JavaScript使用过程中需要注意的地方和一些基本语法
2010/08/26 Javascript
通过JQuery实现win8一样酷炫的动态磁贴效果(示例代码)
2013/07/13 Javascript
alert和confirm功能介绍
2014/05/21 Javascript
每天一篇javascript学习小结(Boolean对象)
2015/11/12 Javascript
基于javascript实现图片预加载
2016/01/05 Javascript
JS实现星星评分功能实例代码(两种方法)
2016/06/09 Javascript
纯JS代码实现隔行变色鼠标移入高亮
2016/11/23 Javascript
bootstrap IE8 兼容性处理
2017/03/22 Javascript
react-navigation 如何判断用户是否登录跳转到登录页的方法
2017/12/01 Javascript
浅谈Vue-cli单文件组件引入less,sass,css样式的不同方法
2018/03/13 Javascript
Vue + better-scroll 实现移动端字母索引导航功能
2018/05/07 Javascript
JS回调函数简单易懂的入门实例分析
2019/09/29 Javascript
vue的webcamjs集成方式
2020/11/16 Javascript
Vue页面渲染中key的应用实例教程
2021/01/12 Vue.js
[02:36]DOTA2英雄基础教程 一击致命幻影刺客
2013/12/06 DOTA
Python简单的制作图片验证码实例
2017/05/31 Python
Python第三方Window模块文件的几种安装方法
2018/11/22 Python
python ddt数据驱动最简实例代码
2019/02/22 Python
keras在构建LSTM模型时对变长序列的处理操作
2020/06/29 Python
CSS3 实现侧边栏展开收起动画
2014/12/22 HTML / CSS
简单html5代码获取地理位置
2014/03/31 HTML / CSS
Monnier Frères美国官网:法国知名奢侈品网站
2016/11/22 全球购物
出口公司经理求职简历中的自我评价
2013/10/13 职场文书
财务人员个人求职信范文
2013/12/04 职场文书
计算机售后服务承诺书
2014/05/30 职场文书
节能环保标语
2014/06/12 职场文书
植树节口号
2014/06/21 职场文书
演讲开场白和结束语
2015/05/29 职场文书
深度好文:50条没人告诉你的人生经验,句句精辟
2019/08/22 职场文书
MySQL插入数据与查询数据
2022/03/25 MySQL