pytorch多GPU并行运算的实现


Posted in Python onSeptember 27, 2019

Pytorch多GPU运行

设置可用GPU环境变量。例如,使用0号和1号GPU'

os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行

if torch.cuda.device_count() > 1:
      print("Let's use", torch.cuda.device_count(), "GPUs!")
      model = nn.DataParallel(model)

将模型参数设置使用GPU运行

if torch.cuda.is_available():
      model.cuda()

踩坑记录

在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节

pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。

参考

https://www.zhihu.com/question/67726969

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python操作MySQL 模拟简单银行转账操作
Sep 27 Python
解决python中os.listdir()函数读取文件夹下文件的乱序和排序问题
Oct 17 Python
python判断完全平方数的方法
Nov 13 Python
Python3爬虫之自动查询天气并实现语音播报
Feb 21 Python
python 下 CMake 安装配置 OPENCV 4.1.1的方法
Sep 30 Python
Python time库基本使用方法分析
Dec 13 Python
使用python自动追踪你的快递(物流推送邮箱)
Mar 17 Python
使用PyQt的QLabel组件实现选定目标框功能的方法示例
May 19 Python
python 常见的反爬虫策略
Sep 27 Python
详解Python中的编码问题(encoding与decode、str与bytes)
Sep 30 Python
python 将Excel转Word的示例
Mar 02 Python
python 判断文件或文件夹是否存在
Mar 18 Python
Python使用matplotlib 模块scatter方法画散点图示例
Sep 27 #Python
python利用openpyxl拆分多个工作表的工作簿的方法
Sep 27 #Python
Python绘制热力图示例
Sep 27 #Python
python将print输出的信息保留到日志文件中
Sep 27 #Python
python线程安全及多进程多线程实现方法详解
Sep 27 #Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
You might like
php实现网站文件批量压缩下载功能
2015/10/28 PHP
PHP文件操作详解
2016/12/30 PHP
Ubuntu 16.04下安装PHP 7过程详解
2017/03/28 PHP
php数组实现根据某个键值将相同键值合并生成新二维数组的方法
2017/04/26 PHP
数据结构之利用PHP实现二分搜索树
2020/10/25 PHP
IE的有条件注释判定IE版本详解(附实例代码)
2012/01/04 Javascript
javascript中方便增删改cookie的一个类
2012/10/11 Javascript
利用JavaScript实现新闻滚动效果(实例代码)
2013/11/27 Javascript
javascript + jquery实现定时修改文章标题
2014/03/19 Javascript
Javascript数组与字典用法分析
2014/12/13 Javascript
jQuery简单验证上传文件大小及类型的方法
2016/06/02 Javascript
Web程序员必备的7个JavaScript函数
2016/06/14 Javascript
JQuery.validationEngine表单验证插件(推荐)
2016/12/10 Javascript
JavaScript获取键盘按键的键码(参照表)
2017/01/10 Javascript
ES6中参数的默认值语法介绍
2017/05/03 Javascript
js闭包学习心得总结
2018/04/17 Javascript
atom-design(Vue.js移动端组件库)手势组件使用教程
2019/05/16 Javascript
24行JavaScript代码实现Redux的方法实例
2019/11/17 Javascript
[01:59]游戏“zheng”当时试玩会
2019/08/21 DOTA
Python列表list内建函数用法实例分析【insert、remove、index、pop等】
2017/07/24 Python
opencv实现图片模糊和锐化操作
2018/11/19 Python
python 输出所有大小写字母的方法
2019/01/02 Python
Django实现网页分页功能
2019/10/31 Python
解决Tensorflow占用GPU显存问题
2020/02/03 Python
Python使用configparser库读取配置文件
2020/02/22 Python
OpenCV+python实现实时目标检测功能
2020/06/24 Python
Node.js 和 Python之间该选择哪个?
2020/08/05 Python
css3 position fixed固定居中问题解决方案
2014/08/19 HTML / CSS
德国前卫设计师时装在线商店:Luxury Loft
2019/11/04 全球购物
什么是事务?为什么需要事务?
2012/01/09 面试题
编程输出如下图形
2013/11/24 面试题
食堂采购员岗位职责
2014/03/17 职场文书
机关保密工作承诺书
2015/05/04 职场文书
nginx限制并发连接请求数的方法
2021/04/01 Servers
详解Python如何批量采集京东商品数据流程
2022/01/22 Python
解决xampp安装后Apache无法启动
2022/03/21 Servers