pytorch多GPU并行运算的实现


Posted in Python onSeptember 27, 2019

Pytorch多GPU运行

设置可用GPU环境变量。例如,使用0号和1号GPU'

os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行

if torch.cuda.device_count() > 1:
      print("Let's use", torch.cuda.device_count(), "GPUs!")
      model = nn.DataParallel(model)

将模型参数设置使用GPU运行

if torch.cuda.is_available():
      model.cuda()

踩坑记录

在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节

pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。

参考

https://www.zhihu.com/question/67726969

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
探究Python多进程编程下线程之间变量的共享问题
May 05 Python
将Python代码嵌入C++程序进行编写的实例
Jul 31 Python
Python数据类型详解(二)列表
May 08 Python
Python下载指定页面上图片的方法
May 12 Python
老生常谈Python之装饰器、迭代器和生成器
Jul 26 Python
Python基于pygame模块播放MP3的方法示例
Sep 30 Python
详解Python自建logging模块
Jan 29 Python
python用户管理系统
Mar 13 Python
打包python 加icon 去掉cmd黑窗口方法
Jun 24 Python
pytorch 实现将自己的图片数据处理成可以训练的图片类型
Jan 08 Python
python3+opencv生成不规则黑白mask实例
Feb 19 Python
Python Pandas list列表数据列拆分成多行的方法实现
Dec 14 Python
Python使用matplotlib 模块scatter方法画散点图示例
Sep 27 #Python
python利用openpyxl拆分多个工作表的工作簿的方法
Sep 27 #Python
Python绘制热力图示例
Sep 27 #Python
python将print输出的信息保留到日志文件中
Sep 27 #Python
python线程安全及多进程多线程实现方法详解
Sep 27 #Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
You might like
PHP 反向排序和随机排序代码
2010/06/30 PHP
twig里使用js变量的方法
2016/02/05 PHP
laravel 配置路由 api和web定义的路由的区别详解
2019/09/03 PHP
jQuery 添加/移除CSS类实现代码
2010/02/11 Javascript
关于eval 与new Function 到底该选哪个?
2013/04/17 Javascript
javascript中onclick(this)用法介绍
2013/04/19 Javascript
javascript动态创建及删除元素的方法
2014/12/22 Javascript
JavaScript常用的弹出广告及背投广告实现方法
2015/02/06 Javascript
深入浅析javascript立即执行函数
2015/10/23 Javascript
动态创建按钮的JavaScript代码
2016/01/29 Javascript
老生常谈javascript的类型转换
2016/10/12 Javascript
Angular中支持SCSS的方法
2017/11/18 Javascript
详解promise.then,process.nextTick, setTimeout 以及 setImmediate的执行顺序
2018/11/21 Javascript
Vue 进阶之路(三)
2019/04/18 Javascript
vue使用一些外部插件及样式的配置代码
2019/11/18 Javascript
vue项目或网页上实现文字转换成语音播放功能
2020/06/09 Javascript
原生JavaScript实现刮刮乐
2020/09/29 Javascript
[03:40]2014DOTA2国际邀请赛 B神专访:躲箭真的很难
2014/07/13 DOTA
Python工程师面试题 与Python Web相关
2016/01/14 Python
windows10系统中安装python3.x+scrapy教程
2016/11/08 Python
Python 通过pip安装Django详细介绍
2017/04/28 Python
python中的插值 scipy-interp的实现代码
2018/07/23 Python
python http基本验证方法
2018/12/26 Python
Python中的pathlib.Path为什么不继承str详解
2019/06/23 Python
python3通过qq邮箱发送邮件以及附件
2020/05/20 Python
python闭包与引用以及需要注意的陷阱
2020/09/18 Python
Python日志器使用方法及原理解析
2020/09/27 Python
Chain Reaction Cycles芬兰:世界上最大的在线自行车商店
2017/12/06 全球购物
荷兰音乐会和音乐剧门票订购网站:Topticketshop
2019/08/27 全球购物
英国礼品和生活方式品牌:Treat Republic
2020/11/21 全球购物
绿化先进工作者事迹材料
2014/01/30 职场文书
教师通用专业自荐书范文
2014/02/11 职场文书
大雁塔英文导游词
2015/02/10 职场文书
迎国庆主题班会
2015/08/17 职场文书
2019年自助餐厅创业计划书模板
2019/08/22 职场文书
Java elasticsearch安装以及部署教程
2021/06/28 Java/Android