pytorch多GPU并行运算的实现


Posted in Python onSeptember 27, 2019

Pytorch多GPU运行

设置可用GPU环境变量。例如,使用0号和1号GPU'

os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行

if torch.cuda.device_count() > 1:
      print("Let's use", torch.cuda.device_count(), "GPUs!")
      model = nn.DataParallel(model)

将模型参数设置使用GPU运行

if torch.cuda.is_available():
      model.cuda()

踩坑记录

在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节

pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。

参考

https://www.zhihu.com/question/67726969

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python3模拟百度登录并实现百度贴吧签到示例分享(百度贴吧自动签到)
Feb 24 Python
Python基础之函数用法实例详解
Sep 10 Python
Python文件右键找不到IDLE打开项解决办法
Jun 08 Python
Python中字典(dict)合并的四种方法总结
Aug 10 Python
小米5s微信跳一跳小程序python源码
Jan 08 Python
Python中__slots__属性介绍与基本使用方法
Sep 05 Python
django 数据库连接模块解析及简单长连接改造方法
Aug 29 Python
Python调用shell cmd方法代码示例解析
Jun 18 Python
基于Python的自媒体小助手---登录页面的实现代码
Jun 29 Python
pycharm 多行批量缩进和反向缩进快捷键介绍
Jan 15 Python
Python Flask搭建yolov3目标检测系统详解流程
Nov 07 Python
Python使用Opencv打开笔记本电脑摄像头报错解问题及解决
Jun 21 Python
Python使用matplotlib 模块scatter方法画散点图示例
Sep 27 #Python
python利用openpyxl拆分多个工作表的工作簿的方法
Sep 27 #Python
Python绘制热力图示例
Sep 27 #Python
python将print输出的信息保留到日志文件中
Sep 27 #Python
python线程安全及多进程多线程实现方法详解
Sep 27 #Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
You might like
PHP获得用户使用的代理服务器ip即真实ip
2006/12/31 PHP
php数据库连接时容易出错的特殊符号问题
2010/09/01 PHP
摘自织梦CMS的HTTP文件下载类
2015/08/08 PHP
PHP会员找回密码功能的简单实现
2016/09/05 PHP
php实现给二维数组中所有一维数组添加值的方法
2017/02/04 PHP
[原创]PHP正则删除html代码中a标签并保留标签内容的方法
2017/05/23 PHP
php apache开启跨域模式过程详解
2019/07/08 PHP
JavaScript修改css样式style
2008/04/15 Javascript
eval与window.eval的差别分析
2011/03/17 Javascript
30个最佳jQuery Lightbox效果插件分享
2011/04/11 Javascript
用Javascript评估用户输入密码的强度实现代码
2011/11/30 Javascript
js Dialog 实践分享
2012/10/22 Javascript
jquery控制select的text/value值为选中状态
2014/06/03 Javascript
js给selected添加options的方法
2015/05/06 Javascript
JavaScript使用位运算符判断奇数和偶数的方法
2015/06/01 Javascript
基于JavaScript制作霓虹灯文字 代码 特效
2015/09/01 Javascript
JavaScript 栈的详解及实例代码
2017/01/22 Javascript
javascript中的面向对象
2017/03/30 Javascript
详解Layer弹出层样式
2017/08/21 Javascript
详解weex默认webpack.config.js改造
2018/01/08 Javascript
vue 组件的封装之基于axios的ajax请求方法
2018/08/11 Javascript
Vue.Draggable拖拽功能的配置使用方法
2020/07/29 Javascript
vue项目中引入vue-datepicker插件的详解
2019/05/14 Javascript
浅谈vue.watch的触发条件是什么
2020/11/07 Javascript
Python基于checksum计算文件是否相同的方法
2015/07/09 Python
Python实现的井字棋(Tic Tac Toe)游戏示例
2018/01/31 Python
基于Python实现视频的人脸融合功能
2020/06/12 Python
解决keras,val_categorical_accuracy:,0.0000e+00问题
2020/07/02 Python
flask项目集成swagger的方法
2020/12/09 Python
美国隐形眼镜网:Major Lens
2018/02/09 全球购物
函授本科毕业自我鉴定
2013/10/09 职场文书
会计实习自我鉴定
2013/12/04 职场文书
银行纠风工作实施方案
2014/06/08 职场文书
农村文化活动总结
2014/08/28 职场文书
行政工作试用期自我评价
2014/09/14 职场文书
小学班主任个人总结
2015/03/03 职场文书