pytorch多GPU并行运算的实现


Posted in Python onSeptember 27, 2019

Pytorch多GPU运行

设置可用GPU环境变量。例如,使用0号和1号GPU'

os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行

if torch.cuda.device_count() > 1:
      print("Let's use", torch.cuda.device_count(), "GPUs!")
      model = nn.DataParallel(model)

将模型参数设置使用GPU运行

if torch.cuda.is_available():
      model.cuda()

踩坑记录

在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节

pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。

参考

https://www.zhihu.com/question/67726969

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python挑选文件夹里宽大于300图片的方法
Mar 05 Python
Python中字典的基本知识初步介绍
May 21 Python
Python把对应格式的csv文件转换成字典类型存储脚本的方法
Feb 12 Python
Python函数装饰器常见使用方法实例详解
Mar 30 Python
python 二维矩阵转三维矩阵示例
Nov 30 Python
Python安装tar.gz格式文件方法详解
Jan 19 Python
python+selenium定时爬取丁香园的新型冠状病毒数据并制作出类似的地图(部署到云服务器)
Feb 09 Python
matplotlib基础绘图命令之bar的使用方法
Aug 13 Python
详解python程序中的多任务
Sep 16 Python
Python绘制组合图的示例
Sep 18 Python
python 多线程共享全局变量的优劣
Sep 24 Python
Python Pandas常用函数方法总结
Jun 15 Python
Python使用matplotlib 模块scatter方法画散点图示例
Sep 27 #Python
python利用openpyxl拆分多个工作表的工作簿的方法
Sep 27 #Python
Python绘制热力图示例
Sep 27 #Python
python将print输出的信息保留到日志文件中
Sep 27 #Python
python线程安全及多进程多线程实现方法详解
Sep 27 #Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
You might like
什么是MVC,好东西啊
2007/05/03 PHP
PHP操作文件类的函数代码(文件和文件夹创建,复制,移动和删除)
2011/11/10 PHP
Laravel 读取 config 下的数据方法
2019/10/13 PHP
laravel orm 关联条件查询代码
2019/10/21 PHP
PHP call_user_func和call_user_func_array函数的简单理解与应用分析
2019/11/25 PHP
PHP字符串与数组处理函数用法小结
2020/01/07 PHP
Javascript 实用小技巧
2010/04/07 Javascript
node.js中的fs.futimes方法使用说明
2014/12/17 Javascript
用队列模拟jquery的动画算法实例
2015/01/20 Javascript
JavaScript中使用concat()方法拼接字符串的教程
2015/06/06 Javascript
jQuery左右滚动支持图片放大缩略图图片轮播代码分享
2015/08/26 Javascript
详解原生JavaScript实现jQuery中AJAX处理的方法
2016/05/10 Javascript
浅谈JavaScript 执行环境、作用域及垃圾回收
2016/05/31 Javascript
Javascript中prototype的使用详解
2016/06/18 Javascript
jquery表单验证实例仿Toast提示效果
2017/03/03 Javascript
微信小程序实现日历功能
2018/11/27 Javascript
Python中用于检查英文字母大写的isupper()方法
2015/05/19 Python
TensorFlow实现简单卷积神经网络
2018/05/24 Python
pandas.DataFrame删除/选取含有特定数值的行或列实例
2018/11/07 Python
padas 生成excel 增加sheet表的实例
2018/12/11 Python
Python列表list常用内建函数实例小结
2019/10/22 Python
pandas中的数据去重处理的实现方法
2020/02/10 Python
python 监控logcat关键字功能
2020/09/04 Python
pycharm使用技巧之自动调整代码格式总结
2020/11/04 Python
Python如何利用Har文件进行遍历指定字典替换提交的数据详解
2020/11/05 Python
用gpu训练好的神经网络,用tensorflow-cpu跑出错的原因及解决方案
2021/03/03 Python
详解css3中的伪类before和after常见用法
2020/11/17 HTML / CSS
HTML5 Canvas之测试浏览器是否支持Canvas的方法
2015/01/01 HTML / CSS
Vilebrequin欧洲官网:法国豪华泳装品牌(男士沙滩裤)
2018/04/14 全球购物
德国户外装备、登山运动和攀岩商店:tapir store
2020/02/12 全球购物
牵手50台湾:专为黄金岁月的单身人士而设的交友网站
2021/02/18 全球购物
离职保密承诺书
2014/05/28 职场文书
民事起诉书范本
2015/05/19 职场文书
改进工作作风心得体会
2016/01/23 职场文书
python实现双向链表原理
2022/05/25 Python
MySQL下载安装配置详细教程 附下载资源
2022/09/23 MySQL