pytorch 指定gpu训练与多gpu并行训练示例


Posted in Python onDecember 31, 2019

一. 指定一个gpu训练的两种方法:

1.代码中指定

import torch
torch.cuda.set_device(id)

2.终端中指定

CUDA_VISIBLE_DEVICES=1 python 你的程序

其中id就是你的gpu编号

二. 多gpu并行训练:

torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)

该函数实现了在module级别上的数据并行使用,注意batch size要大于GPU的数量。

参数 :

module:需要多GPU训练的网络模型

device_ids: GPU的编号(默认全部GPU,或[0,1] ,[0,1,2])

output_device:(默认是device_ids[0])

dim:tensors被分散的维度,默认是0

在保存模型时要注意要加上"module",例如:

network.module.state_dict()

以上这篇pytorch 指定gpu训练与多gpu并行训练示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跨平台python异步回调机制实现和使用方法
Nov 26 Python
Python如何实现MySQL实例初始化详解
Nov 06 Python
Python3中内置类型bytes和str用法及byte和string之间各种编码转换 问题
Sep 27 Python
对python3中pathlib库的Path类的使用详解
Oct 14 Python
python中实现控制小数点位数的方法
Jan 24 Python
python实现批量修改服务器密码的方法
Aug 13 Python
python解析yaml文件过程详解
Aug 30 Python
为什么黑客都用python(123个黑客必备的Python工具)
Jan 31 Python
Tensorflow 1.0之后模型文件、权重数值的读取方式
Feb 12 Python
python爬虫开发之PyQuery模块详细使用方法与实例全解
Mar 09 Python
pycharm-professional-2020.1下载与激活的教程
Sep 21 Python
python中pivot()函数基础知识点
Jan 03 Python
浅析Django中关于session的使用
Dec 30 #Python
使用pickle存储数据dump 和 load实例讲解
Dec 30 #Python
在Python中利用pickle保存变量的实例
Dec 30 #Python
python Popen 获取输出,等待运行完成示例
Dec 30 #Python
Python3常见函数range()用法详解
Dec 30 #Python
Python Pickle 实现在同一个文件中序列化多个对象
Dec 30 #Python
python使用HTMLTestRunner导出饼图分析报告的方法
Dec 30 #Python
You might like
Discuz!下Memcache缓存实现方法
2010/05/28 PHP
php class中self,parent,this的区别以及实例介绍
2013/04/24 PHP
PHP下载文件的函数实例代码
2016/05/18 PHP
php实现的支付宝网页支付功能示例【基于TP5框架】
2019/09/16 PHP
JavaScript 学习点滴记录
2009/04/24 Javascript
在javascript将NodeList作为Array数组处理的方法
2010/07/09 Javascript
JavaScript高级程序设计 DOM学习笔记
2011/09/10 Javascript
jquery js 获取时间差、时间格式具体代码
2013/06/05 Javascript
网页前端优化之滚动延时加载图片示例
2013/07/13 Javascript
javascript教程:关于if简写语句优化的方法
2014/05/17 Javascript
node.js中的querystring.escape方法使用说明
2014/12/10 Javascript
分享28款免费实用的 JQuery 图片和内容滑块插件
2014/12/15 Javascript
简单谈谈javascript代码复用模式
2015/01/28 Javascript
深入理解JavaScript系列(41):设计模式之模板方法详解
2015/03/04 Javascript
JS简单实现多级Select联动菜单效果代码
2015/09/06 Javascript
seajs加载jquery时提示$ is not a function该怎么解决
2015/10/23 Javascript
JS模拟bootstrap下拉菜单效果实例
2016/06/17 Javascript
vue2.0 better-scroll 实现移动端滑动的示例代码
2018/01/25 Javascript
关于RxJS Subject的学习笔记
2018/12/05 Javascript
基于JavaScript实现单例模式
2019/10/30 Javascript
vue动态路由:路由参数改变,视图不更新问题的解决
2019/11/05 Javascript
详解JavaScript执行模型
2020/11/16 Javascript
Python中的index()方法使用教程
2015/05/18 Python
2019 Python最新面试题及答案16道题
2019/04/11 Python
白俄罗斯在线大型超市:e-dostavka.by
2019/07/25 全球购物
物业电工岗位职责
2013/11/20 职场文书
清洁工岗位职责
2014/01/29 职场文书
实习老师离校感言
2014/02/03 职场文书
2014年五四青年节演讲稿范文
2014/04/22 职场文书
出国留学担保书
2014/05/20 职场文书
服务口号大全
2014/06/11 职场文书
竞选班长演讲稿500字
2014/08/22 职场文书
解放思想演讲稿
2014/09/11 职场文书
歌舞青春观后感
2015/06/10 职场文书
运动员入场前导词
2015/07/20 职场文书
关于军训的感想
2015/08/07 职场文书