pytorch多GPU并行运算的实现


Posted in Python onSeptember 27, 2019

Pytorch多GPU运行

设置可用GPU环境变量。例如,使用0号和1号GPU'

os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行

if torch.cuda.device_count() > 1:
      print("Let's use", torch.cuda.device_count(), "GPUs!")
      model = nn.DataParallel(model)

将模型参数设置使用GPU运行

if torch.cuda.is_available():
      model.cuda()

踩坑记录

在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节

pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。

参考

https://www.zhihu.com/question/67726969

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中操作时间之tzset()方法的使用教程
May 22 Python
python利用dir函数查看类中所有成员函数示例代码
Sep 08 Python
读取本地json文件,解析json(实例讲解)
Dec 06 Python
Python判断对象是否相等及eq函数的讲解
Feb 25 Python
scrapy-redis源码分析之发送POST请求详解
May 15 Python
Python 中的参数传递、返回值、浅拷贝、深拷贝
Jun 25 Python
Python 利用邮件系统完成远程控制电脑的实现(关机、重启等)
Nov 19 Python
Win下PyInstaller 安装和使用教程
Dec 25 Python
Pyecharts绘制全球流向图的示例代码
Jan 08 Python
pycharm无法导入本地模块的解决方式
Feb 12 Python
五种Python转义表示法
Nov 27 Python
Python3压缩和解压缩实现代码
Mar 01 Python
Python使用matplotlib 模块scatter方法画散点图示例
Sep 27 #Python
python利用openpyxl拆分多个工作表的工作簿的方法
Sep 27 #Python
Python绘制热力图示例
Sep 27 #Python
python将print输出的信息保留到日志文件中
Sep 27 #Python
python线程安全及多进程多线程实现方法详解
Sep 27 #Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
You might like
用PHP函数解决SQL injection
2006/10/09 PHP
PHP 程序授权验证开发思路
2009/07/09 PHP
php+ajax做仿百度搜索下拉自动提示框(有实例)
2012/08/21 PHP
php获取301跳转URL简单实例
2013/12/16 PHP
yii用户注册表单验证实例
2015/12/26 PHP
JavaScript类和继承 constructor属性
2010/03/04 Javascript
通过javascript的匿名函数来分析几段简单有趣的代码
2010/06/29 Javascript
jquery tab插件精简版分享
2011/09/10 Javascript
jquery插件制作教程 txtHover
2012/08/17 Javascript
html文档中的location对象属性理解及常见的用法
2014/08/13 Javascript
jQuery的css()方法用法实例
2014/12/24 Javascript
JavaScript SweetAlert插件实现超酷消息警告框
2016/01/28 Javascript
js表单验证实例讲解
2016/03/31 Javascript
JS实现鼠标框选效果完整实例
2016/06/20 Javascript
微信小程序中input标签详解及简单实例
2017/05/18 Javascript
通过V8源码看一个关于JS数组排序的诡异问题
2017/08/14 Javascript
5 种JavaScript编码规范
2018/01/30 Javascript
js指定日期增加指定月份的实现方法
2018/12/19 Javascript
[02:40]DOTA2英雄基础教程 先知
2013/11/29 DOTA
python多线程http下载实现示例
2013/12/30 Python
高性能web服务器框架Tornado简单实现restful接口及开发实例
2014/07/16 Python
python计算圆周率pi的方法
2015/07/11 Python
python实现Windows电脑定时关机
2018/06/20 Python
python3 对list中每个元素进行处理的方法
2018/06/29 Python
Windows下将Python文件打包成.EXE可执行文件的方法
2018/08/03 Python
利用anaconda作为python的依赖库管理方法
2019/08/13 Python
Pytorch保存模型用于测试和用于继续训练的区别详解
2020/01/10 Python
HTML5的标签的代码的简单介绍 HTML5标签的简介
2012/05/28 HTML / CSS
delegate与普通函数的区别
2014/01/22 面试题
演讲稿怎么写才完美
2014/01/02 职场文书
课前三分钟演讲稿
2014/04/24 职场文书
党员先进性教育整改措施
2014/09/18 职场文书
学校四风问题对照检查材料思想汇报
2014/09/26 职场文书
单位实习介绍信
2015/05/05 职场文书
小学生六年级作文之关于感恩
2019/08/16 职场文书
Win11控制面板快捷键是什么?Win11打开控制面板的方法汇总
2022/07/07 数码科技