pytorch多GPU并行运算的实现


Posted in Python onSeptember 27, 2019

Pytorch多GPU运行

设置可用GPU环境变量。例如,使用0号和1号GPU'

os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行

if torch.cuda.device_count() > 1:
      print("Let's use", torch.cuda.device_count(), "GPUs!")
      model = nn.DataParallel(model)

将模型参数设置使用GPU运行

if torch.cuda.is_available():
      model.cuda()

踩坑记录

在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节

pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。

参考

https://www.zhihu.com/question/67726969

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python转换HTML到Text纯文本的方法
Jan 15 Python
用Python编写脚本使IE实现代理上网的教程
Apr 23 Python
python变量不能以数字打头详解
Jul 06 Python
详解Python中类的定义与使用
Apr 11 Python
Python基础语言学习笔记总结(精华)
Nov 14 Python
python使用参数对嵌套字典进行取值的方法
Apr 26 Python
Python替换月份为英文缩写的实现方法
Jul 15 Python
基于python框架Scrapy爬取自己的博客内容过程详解
Aug 05 Python
Python中类似于jquery的pyquery库用法分析
Dec 02 Python
python解析xml文件方式(解析、更新、写入)
Mar 05 Python
Django def clean()函数对表单中的数据进行验证操作
Jul 09 Python
Django修改app名称和数据表迁移方案实现
Sep 17 Python
Python使用matplotlib 模块scatter方法画散点图示例
Sep 27 #Python
python利用openpyxl拆分多个工作表的工作簿的方法
Sep 27 #Python
Python绘制热力图示例
Sep 27 #Python
python将print输出的信息保留到日志文件中
Sep 27 #Python
python线程安全及多进程多线程实现方法详解
Sep 27 #Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
You might like
星际争霸 Starcraft 编年史
2020/03/14 星际争霸
10条php编程小技巧
2015/07/07 PHP
php实现用户登陆简单实例
2017/04/04 PHP
TP5(thinkPHP5框架)基于bootstrap实现的单图上传插件用法示例
2019/05/29 PHP
IE FF OPERA都可用的弹出层实现代码
2009/09/29 Javascript
javascript 最常用的10个自定义函数[推荐]
2009/12/26 Javascript
jQuery控制iFrame(实例代码)
2013/11/19 Javascript
Angularjs基础知识及示例汇总
2015/01/22 Javascript
jQuery实现放大镜效果实例代码
2016/03/17 Javascript
JavaScript从数组的indexOf()深入之Object的Property机制
2016/05/11 Javascript
jQuery模拟select实现下拉菜单功能
2016/06/20 Javascript
js实现简单的手风琴效果
2017/02/27 Javascript
js for循环倒序输出数组元素的实例
2017/03/01 Javascript
JavaScript基于replace+正则实现ES6的字符串模版功能
2017/04/25 Javascript
使用Angular CLI进行单元测试和E2E测试的方法
2018/03/24 Javascript
解决Layui数据表格中checkbox位置不居中的方法
2018/08/15 Javascript
工作中常用js功能汇总
2020/11/07 Javascript
[02:53]DOTA2英雄昆卡基础教程
2013/11/25 DOTA
Python将xml和xsl转换为html的方法
2015/03/10 Python
利用Python命令行传递实例化对象的方法
2016/11/02 Python
Python脚本获取操作系统版本信息
2016/12/17 Python
django实现用户登陆功能详解
2017/12/11 Python
Python即时网络爬虫项目启动说明详解
2018/02/23 Python
python使用socket 先读取长度,在读取报文内容示例
2019/09/26 Python
django实现用户注册实例讲解
2019/10/30 Python
python保留小数位的三种实现方法
2020/01/07 Python
解析浏览器的一些“滚动”行为鉴赏
2019/09/16 HTML / CSS
汽车检测与维修个人求职信
2013/09/24 职场文书
数学专业毕业生自荐信
2013/11/10 职场文书
公司门卫的岗位职责
2014/02/19 职场文书
竞选文艺委员演讲稿
2014/04/28 职场文书
2014年纪检工作总结
2014/11/12 职场文书
2014年青年志愿者工作总结
2014/12/09 职场文书
2015年董事长秘书工作总结
2015/07/23 职场文书
Go语言测试库testify使用学习
2022/07/23 Golang
win10识别不了U盘怎么办 win10系统读取U盘失败的解决办法
2022/08/05 数码科技