pytorch 指定gpu训练与多gpu并行训练示例


Posted in Python onDecember 31, 2019

一. 指定一个gpu训练的两种方法:

1.代码中指定

import torch
torch.cuda.set_device(id)

2.终端中指定

CUDA_VISIBLE_DEVICES=1 python 你的程序

其中id就是你的gpu编号

二. 多gpu并行训练:

torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)

该函数实现了在module级别上的数据并行使用,注意batch size要大于GPU的数量。

参数 :

module:需要多GPU训练的网络模型

device_ids: GPU的编号(默认全部GPU,或[0,1] ,[0,1,2])

output_device:(默认是device_ids[0])

dim:tensors被分散的维度,默认是0

在保存模型时要注意要加上"module",例如:

network.module.state_dict()

以上这篇pytorch 指定gpu训练与多gpu并行训练示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python函数参数类型*、**的区别
Apr 11 Python
Python实现把数字转换成中文
Jun 29 Python
深入解析Python编程中JSON模块的使用
Oct 15 Python
Python的MongoDB模块PyMongo操作方法集锦
Jan 05 Python
Python爬取网易云音乐热门评论
Mar 31 Python
python通过getopt模块如何获取执行的命令参数详解
Dec 29 Python
解决python爬虫中有中文的url问题
May 11 Python
Python OpenCV处理图像之图像直方图和反向投影
Jul 10 Python
python实现石头剪刀布小游戏
Jan 20 Python
TensorFlow MNIST手写数据集的实现方法
Feb 05 Python
Python3读取和写入excel表格数据的示例代码
Jun 09 Python
基于python爬取梨视频实现过程解析
Nov 09 Python
浅析Django中关于session的使用
Dec 30 #Python
使用pickle存储数据dump 和 load实例讲解
Dec 30 #Python
在Python中利用pickle保存变量的实例
Dec 30 #Python
python Popen 获取输出,等待运行完成示例
Dec 30 #Python
Python3常见函数range()用法详解
Dec 30 #Python
Python Pickle 实现在同一个文件中序列化多个对象
Dec 30 #Python
python使用HTMLTestRunner导出饼图分析报告的方法
Dec 30 #Python
You might like
Flash空降上海 化身大魔王接受挑战
2020/03/02 星际争霸
linux下使用crontab实现定时PHP计划任务失败的原因分析
2014/07/05 PHP
PHP 实现代码复用的一个方法 traits新特性
2015/02/22 PHP
php使用ZipArchive函数实现文件的压缩与解压缩
2015/10/27 PHP
如何判断php mysqli扩展类是否开启
2016/12/24 PHP
Thinkphp5框架异常处理操作实例分析
2020/06/03 PHP
一个js拖拽的效果类和dom-drag.js浅析
2010/07/17 Javascript
jquery实用代码片段集合
2010/08/12 Javascript
Javascript MVC框架Backbone.js详解
2014/09/18 Javascript
原生javascript实现图片滚动、延时加载功能
2015/01/12 Javascript
jquery实现从数组移除指定的值
2015/06/24 Javascript
简单的JS时钟实例讲解
2016/01/13 Javascript
js采用concat和sort将N个数组拼接起来的方法
2016/01/21 Javascript
基于JavaScript实现 网页切出 网站title变化代码
2016/04/03 Javascript
JavaScript Ajax实现异步通信
2016/12/14 Javascript
Bootstrap显示与隐藏简单实现代码
2017/03/06 Javascript
javascript实现非常简单的小数取整功能示例
2017/06/13 Javascript
js最简单的双向绑定实例讲解
2018/01/02 Javascript
JS限制输入框输入的实现代码
2018/07/02 Javascript
详解vue填坑之解决部分浏览器不支持pushState方法
2018/07/12 Javascript
vue用递归组件写树形控件的实例代码
2018/07/19 Javascript
[00:10]DOTA2 TI9勇士令状明日上线
2019/05/07 DOTA
简单说明Python中的装饰器的用法
2015/04/24 Python
Python采用Django开发自己的博客系统
2020/09/29 Python
Flask中endpoint的理解(小结)
2019/12/11 Python
python通过对字典的排序,对json字段进行排序的实例
2020/02/27 Python
python输出第n个默尼森数的实现示例
2020/03/08 Python
印度电子产品购物网站:Vijay Sales
2021/02/16 全球购物
会计专业毕业生自荐信范文
2013/12/20 职场文书
法律专业应届生自荐信范文
2014/01/06 职场文书
劳动之星获奖感言
2014/02/01 职场文书
运动会开幕式解说词
2014/02/05 职场文书
我是一名护士演讲稿
2014/08/28 职场文书
Nginx 反向代理解决跨域问题多种情况分析
2022/01/18 Servers
浅析JavaScript中的变量提升
2022/06/01 Javascript
JavaScript前端面试扁平数据转tree与tree数据扁平化
2022/06/14 Javascript