pytorch多GPU并行运算的实现


Posted in Python onSeptember 27, 2019

Pytorch多GPU运行

设置可用GPU环境变量。例如,使用0号和1号GPU'

os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行

if torch.cuda.device_count() > 1:
      print("Let's use", torch.cuda.device_count(), "GPUs!")
      model = nn.DataParallel(model)

将模型参数设置使用GPU运行

if torch.cuda.is_available():
      model.cuda()

踩坑记录

在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节

pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。

参考

https://www.zhihu.com/question/67726969

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用Python的pandas框架操作Excel文件中的数据教程
Mar 31 Python
对python中return和print的一些理解
Aug 18 Python
浅谈用VSCode写python的正确姿势
Dec 16 Python
Python实现PS滤镜Fish lens图像扭曲效果示例
Jan 29 Python
TensorFlow搭建神经网络最佳实践
Mar 09 Python
pandas series序列转化为星期几的实例
Apr 11 Python
python多进程提取处理大量文本的关键词方法
Jun 05 Python
python处理csv中的空值方法
Jun 22 Python
在python中用print()输出多个格式化参数的方法
Jul 16 Python
python打印文件的前几行或最后几行教程
Feb 13 Python
Pytest框架之fixture的详细使用教程
Apr 07 Python
这样写python注释让代码更加的优雅
Jun 02 Python
Python使用matplotlib 模块scatter方法画散点图示例
Sep 27 #Python
python利用openpyxl拆分多个工作表的工作簿的方法
Sep 27 #Python
Python绘制热力图示例
Sep 27 #Python
python将print输出的信息保留到日志文件中
Sep 27 #Python
python线程安全及多进程多线程实现方法详解
Sep 27 #Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
You might like
文章推荐系统(三)
2006/10/09 PHP
PHP的FTP学习(四)
2006/10/09 PHP
php的array_multisort()使用方法介绍
2012/05/16 PHP
JavaScript 申明函数的三种方法 每个函数就是一个对象(一)
2009/12/04 Javascript
HTA版JSMin(省略修饰语若干)基于javascript语言编写
2009/12/24 Javascript
jquery 最简单易用的表单验证插件
2010/02/27 Javascript
JavaScript 小型打飞机游戏实现原理说明
2010/10/28 Javascript
获取div编辑框,textarea,input text的光标位置 兼容IE,FF和Chrome的方法介绍
2012/11/08 Javascript
js 得到文件后缀(通过正则实现)
2013/07/08 Javascript
jQuery学习笔记之jQuery动画效果
2013/09/09 Javascript
原生JavaScript实现瀑布流布局
2020/06/28 Javascript
JS实现的全排列组合算法示例
2017/10/09 Javascript
基于vue2.x的电商图片放大镜插件的使用
2018/01/22 Javascript
vuejs使用axios异步访问时用get和post的实例讲解
2018/08/09 Javascript
学习jQuery中的noConflict()用法
2018/09/28 jQuery
[01:06:25]Secret vs Liquid 2018国际邀请赛淘汰赛BO3 第一场 8.25
2018/08/29 DOTA
[01:02:20]Mineski vs TNC 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/16 DOTA
Python的ORM框架SQLObject入门实例
2014/04/28 Python
Python 读取图片文件为矩阵和保存矩阵为图片的方法
2018/04/27 Python
python生成多个只含0,1元素的随机数组或列表的实例
2018/11/12 Python
Python中的self用法详解
2019/08/06 Python
Python列表倒序输出及其效率详解
2020/03/04 Python
python中append函数用法讲解
2020/12/11 Python
Python 中的函数装饰器和闭包详解
2021/02/06 Python
利用HTML5 Canvas制作键盘及鼠标动画的实例分享
2016/03/15 HTML / CSS
海淘零差价,宝贝全球购: 宝贝格子
2016/08/24 全球购物
Joules美国官网:出色的英国风格
2017/10/30 全球购物
蔻驰西班牙官网:COACH西班牙
2019/01/16 全球购物
英国珠宝和手表专家:Pleasance & Harper
2020/10/21 全球购物
预备党员入党思想汇报
2014/01/04 职场文书
给校长的建议书400字
2014/05/15 职场文书
十佳中学生事迹材料
2014/06/02 职场文书
2014大学生学生会工作总结
2014/12/19 职场文书
美丽的大脚观后感
2015/06/03 职场文书
小学生读书笔记
2015/07/01 职场文书
MySQL索引失效的典型案例
2021/06/05 MySQL