pytorch多GPU并行运算的实现


Posted in Python onSeptember 27, 2019

Pytorch多GPU运行

设置可用GPU环境变量。例如,使用0号和1号GPU'

os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行

if torch.cuda.device_count() > 1:
      print("Let's use", torch.cuda.device_count(), "GPUs!")
      model = nn.DataParallel(model)

将模型参数设置使用GPU运行

if torch.cuda.is_available():
      model.cuda()

踩坑记录

在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节

pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。

参考

https://www.zhihu.com/question/67726969

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python httplib模块使用实例
Apr 11 Python
Python实现控制台进度条功能
Jan 04 Python
python字典DICT类型合并详解
Aug 17 Python
Linux下python制作名片示例
Jul 20 Python
Django压缩静态文件的实现方法详析
Aug 26 Python
python+pyqt5实现KFC点餐收银系统
Jan 24 Python
Python实现合并excel表格的方法分析
Apr 13 Python
python pytest进阶之fixture详解
Jun 27 Python
基于pytorch 预训练的词向量用法详解
Jan 06 Python
python orm 框架中sqlalchemy用法实例详解
Feb 02 Python
Python爬虫JSON及JSONPath运行原理详解
Jun 04 Python
用Python将GIF动图分解成多张静态图片
Jun 11 Python
Python使用matplotlib 模块scatter方法画散点图示例
Sep 27 #Python
python利用openpyxl拆分多个工作表的工作簿的方法
Sep 27 #Python
Python绘制热力图示例
Sep 27 #Python
python将print输出的信息保留到日志文件中
Sep 27 #Python
python线程安全及多进程多线程实现方法详解
Sep 27 #Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
You might like
无线电广播与收音机发展的历史回眸
2021/03/02 无线电
php中数字、字符与对象判断函数用法实例
2014/11/26 PHP
PHP实现基于栈的后缀表达式求值功能
2017/11/10 PHP
一个简单的js树形菜单
2011/12/09 Javascript
jquery获取被勾选的checked(选中)的那一行的3列和4列的值
2013/07/04 Javascript
jquery增加时编辑jqGrid(实例代码)
2013/11/08 Javascript
解决jquery1.9不支持browser对象的问题
2013/11/13 Javascript
Jquery插件编写简明教程
2014/03/25 Javascript
浅析javascript 定时器
2014/12/23 Javascript
Java File类的常用方法总结
2015/03/18 Javascript
javascript数组去重的方法汇总
2015/04/14 Javascript
解决jQuery上传插件Uploadify出现Http Error 302错误的方法
2015/12/18 Javascript
基于javascript实现图片左右切换效果
2016/01/25 Javascript
JS前端笔试题分析
2016/12/19 Javascript
jquery中绑定事件的异同
2017/02/28 Javascript
jquery mobile实现可折叠的导航按钮
2017/03/11 Javascript
vue两个组件间值的传递或修改方式
2018/07/04 Javascript
JS前端知识点总结之内置对象,日期对象和定时器相关操作
2019/07/05 Javascript
js实现石头剪刀布游戏
2020/10/11 Javascript
[49:42]DOTA2上海特级锦标赛主赛事日 - 3 胜者组第二轮#2Secret VS EG第一局
2016/03/04 DOTA
Python判断直线和矩形是否相交的方法
2015/07/14 Python
基于python的Tkinter实现一个简易计算器
2015/12/31 Python
python正向最大匹配分词和逆向最大匹配分词的实例
2018/11/14 Python
flask实现验证码并验证功能
2019/12/05 Python
Anaconda+VSCode配置tensorflow开发环境的教程详解
2020/03/30 Python
理货员的岗位职责
2013/11/23 职场文书
新学期校长寄语
2014/01/18 职场文书
教学实习自我评价
2014/01/28 职场文书
2014年清明节网上祭英烈寄语
2014/04/09 职场文书
一分钟演讲稿
2014/04/30 职场文书
贷款委托书怎么写
2014/08/02 职场文书
学校端午节活动方案
2014/08/23 职场文书
公安机关纪律作风整顿剖析
2014/10/10 职场文书
学生党支部工作总结2015
2015/05/26 职场文书
撤回我也能看到!教你用Python制作微信防撤回脚本
2021/06/11 Python
MySQL自定义函数及触发器
2022/08/05 MySQL