pytorch 使用单个GPU与多个GPU进行训练与测试的方法


Posted in Python onAugust 19, 2019

如下所示:

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")#第一行代码
model.to(device)#第二行代码

首先是上面两行代码放在读取数据之前。

mytensor = my_tensor.to(device)#第三行代码

然后是第三行代码。这句代码的意思是将所有最开始读取数据时的tersor变量copy一份到device所指定的GPU上去,之后的运算都在GPU上进行。需要注意的是这句话并不像前面的两行代码一样只需要写一遍,第三行代码需要写的次数就等于需要保存到GPU上的tensor变量个数;一般情况下这些tensor变量都是最开始读取数据时的tensor变量,后面所衍生的变量自然也都在GPU之上。

以上是使用单个GPU的情况。当你拥有多个GPU时,要想使用多个GPU进行训练和测试,需要在第一二行代码之间插上下面这样一个判断语句,其余的写法也都是一样的。

if torch.cuda.device_count() > 1:
 model = nn.DataParallel(model)

使用多个GPU的原理就是通过上面这句代码将model在每个GPU上分别保存一份,然后对model的输入tensor进行自动的分割,每个GPU计算tensor的一部分,这样就能实现计算量的平均分配。在每个model计算完成之后,DataParallel将这些结果进行收集和融合,之后再将结果返回。

以上这篇pytorch 使用单个GPU与多个GPU进行训练与测试的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
web.py在模板中输出美元符号的方法
Aug 26 Python
python实现识别相似图片小结
Feb 22 Python
python定时利用QQ邮件发送天气预报的实例
Nov 17 Python
python实现键盘控制鼠标移动
Nov 27 Python
django数据关系一对多、多对多模型、自关联的建立
Jul 24 Python
python下PyGame的下载与安装过程及遇到问题
Aug 04 Python
使用Python实现文字转语音并生成wav文件的例子
Aug 08 Python
如何使用Python破解ZIP或RAR压缩文件密码
Jan 09 Python
Python3 shelve对象持久存储原理详解
Mar 23 Python
PyQt5 文本输入框自动补全QLineEdit的实现示例
May 13 Python
关于Theano和Tensorflow多GPU使用问题
Jun 19 Python
python 多线程死锁问题的解决方案
Aug 25 Python
在pytorch中为Module和Tensor指定GPU的例子
Aug 19 #Python
pytorch使用指定GPU训练的实例
Aug 19 #Python
关于pytorch多GPU训练实例与性能对比分析
Aug 19 #Python
pytorch 更改预训练模型网络结构的方法
Aug 19 #Python
pytorch打印网络结构的实例
Aug 19 #Python
pytorch索引查找 index_select的例子
Aug 18 #Python
浅谈Pytorch中的torch.gather函数的含义
Aug 18 #Python
You might like
php下正则来匹配dede模板标签的代码
2010/08/21 PHP
PHP以及MYSQL日期比较方法
2012/11/29 PHP
用JS判别浏览器种类以及IE版本的几种方法小结
2011/08/02 Javascript
基于jQuery实现下拉收缩(展开与折叠)特效
2012/12/25 Javascript
jquery实现省市select下拉框的替换(示例代码)
2014/02/22 Javascript
jquery中each遍历对象和数组示例
2014/08/05 Javascript
jQuery内容过滤选择器用法分析
2015/02/10 Javascript
jQuery实现切换字体大小的方法
2015/03/10 Javascript
jQuery同步提交示例代码
2015/12/12 Javascript
jQuery实现获取元素索引值index的方法
2016/09/18 Javascript
微信小程序 教程之条件渲染
2016/10/18 Javascript
扩展Bootstrap Tooltip插件使其可交互的方法
2016/11/07 Javascript
jquery与ajax获取特殊字符实例详解
2017/01/08 Javascript
详解webpack+vue-cli项目打包技巧
2017/06/17 Javascript
ES6扩展运算符用法实例分析
2017/10/31 Javascript
微信小程序getLocation 需要在app.json中声明permission字段
2020/03/03 Javascript
js简单实现自动生成表格功能示例
2020/06/02 Javascript
js实现盒子滚动动画效果
2020/08/09 Javascript
Python创建系统目录的方法
2015/03/11 Python
Python中shutil模块的学习笔记教程
2017/04/04 Python
python使用邻接矩阵构造图代码示例
2017/11/10 Python
Python实现定时精度可调节的定时器
2018/04/15 Python
如何使用Python标准库进行性能测试
2019/06/25 Python
Python转换时间的图文方法
2019/07/01 Python
Django admin model 汉化显示文字的实现方法
2019/08/12 Python
pycharm 设置项目的根目录教程
2020/02/12 Python
详解Pycharm第三方库的安装及使用方法
2020/12/29 Python
如何用Python进行时间序列分解和预测
2021/03/01 Python
UGG雪地靴德国官网:UGG德国
2016/11/19 全球购物
亚马逊墨西哥站:Amazon.com.mx
2018/08/26 全球购物
创意爱尔兰礼物:Creative Irish Gifts
2020/01/29 全球购物
保护环境倡议书300字
2014/05/19 职场文书
大学生国庆节65周年演讲稿范文
2014/09/25 职场文书
公司财务会计主管应聘求职信
2014/09/26 职场文书
2014年租房协议书范本
2014/10/30 职场文书
2014年银行信贷员工作总结
2014/12/08 职场文书