pytorch多GPU并行运算的实现


Posted in Python onSeptember 27, 2019

Pytorch多GPU运行

设置可用GPU环境变量。例如,使用0号和1号GPU'

os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行

if torch.cuda.device_count() > 1:
      print("Let's use", torch.cuda.device_count(), "GPUs!")
      model = nn.DataParallel(model)

将模型参数设置使用GPU运行

if torch.cuda.is_available():
      model.cuda()

踩坑记录

在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节

pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。

参考

https://www.zhihu.com/question/67726969

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用稀疏矩阵节省内存实例
Jun 27 Python
Python文件操作类操作实例详解
Jul 11 Python
Python做文本按行去重的实现方法
Oct 19 Python
利用Python操作消息队列RabbitMQ的方法教程
Jul 19 Python
python中hashlib模块用法示例
Oct 30 Python
详解Python判定IP地址合法性的三种方法
Mar 06 Python
PyCharm代码格式调整方法
May 23 Python
解决pandas.DataFrame.fillna 填充Nan失败的问题
Nov 06 Python
Python中的集合介绍
Jan 28 Python
python批量修改文件夹及其子文件夹下的文件内容
Mar 15 Python
简单了解Django应用app及分布式路由
Jul 24 Python
Python中Selenium库使用教程详解
Jul 23 Python
Python使用matplotlib 模块scatter方法画散点图示例
Sep 27 #Python
python利用openpyxl拆分多个工作表的工作簿的方法
Sep 27 #Python
Python绘制热力图示例
Sep 27 #Python
python将print输出的信息保留到日志文件中
Sep 27 #Python
python线程安全及多进程多线程实现方法详解
Sep 27 #Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
You might like
php实现图片添加水印功能
2014/02/13 PHP
php通过文件流方式复制文件的方法
2015/03/13 PHP
PHP版微信公众平台红包API
2015/04/02 PHP
使用PHP进行微信公众平台开发的示例
2015/08/21 PHP
php中二维数组排序问题方法详解
2015/08/28 PHP
jQuery EasyUI NumberBox(数字框)的用法
2010/07/08 Javascript
JavaScript版TAB选项卡效果实例
2013/08/16 Javascript
js实现div的切换特效上一个下一个
2014/02/11 Javascript
Js表格万条数据瞬间加载实现代码
2014/02/20 Javascript
kindeditor编辑器点中图片滚动条往上顶的bug
2015/07/05 Javascript
[原创]Bootstrap 中下拉菜单修改成鼠标悬停直接显示
2016/04/14 Javascript
Ajax高级笔记 JavaScript高级程序设计笔记
2017/06/22 Javascript
浅谈angular2 组件的生命周期钩子
2017/08/12 Javascript
Vue完整项目构建(进阶篇)
2018/02/10 Javascript
Angular6封装http请求的步骤详解
2018/08/13 Javascript
jQuery实现参数自定义的文字跑马灯效果
2018/08/15 jQuery
微信小程序实现的自定义分享功能示例
2019/02/12 Javascript
vue实现可视化可拖放的自定义表单的示例代码
2019/03/20 Javascript
详解微信小程序实现跑马灯效果(附完整代码)
2019/04/29 Javascript
python元组操作实例解析
2014/09/23 Python
Python的math模块中的常用数学函数整理
2016/02/04 Python
python实现数据导出到excel的示例--普通格式
2018/05/03 Python
Pandas 数据处理,数据清洗详解
2018/07/10 Python
python实现图片压缩代码实例
2019/08/12 Python
Python 用三行代码提取PDF表格数据
2019/10/13 Python
Django集成MongoDB实现过程解析
2020/12/01 Python
美国女性运动零售品牌:Lady Foot Locker
2017/05/12 全球购物
应届优秀本科大学毕业生自我鉴定
2014/01/21 职场文书
《小山羊和小灰兔》教学反思
2014/02/19 职场文书
期末学生评语大全
2014/04/24 职场文书
大学生学雷锋活动总结
2014/06/26 职场文书
迎新生标语大全
2014/10/06 职场文书
复试通知单模板
2015/04/24 职场文书
2017元旦、春节期间廉洁自律承诺书
2016/03/25 职场文书
几款流行的HTML5 UI框架比较(小结)
2021/04/08 HTML / CSS
Python-OpenCV实现图像缺陷检测的实例
2021/06/11 Python