pytorch 指定gpu训练与多gpu并行训练示例


Posted in Python onDecember 31, 2019

一. 指定一个gpu训练的两种方法:

1.代码中指定

import torch
torch.cuda.set_device(id)

2.终端中指定

CUDA_VISIBLE_DEVICES=1 python 你的程序

其中id就是你的gpu编号

二. 多gpu并行训练:

torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)

该函数实现了在module级别上的数据并行使用,注意batch size要大于GPU的数量。

参数 :

module:需要多GPU训练的网络模型

device_ids: GPU的编号(默认全部GPU,或[0,1] ,[0,1,2])

output_device:(默认是device_ids[0])

dim:tensors被分散的维度,默认是0

在保存模型时要注意要加上"module",例如:

network.module.state_dict()

以上这篇pytorch 指定gpu训练与多gpu并行训练示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python mysqldb连接数据库
Mar 16 Python
跟老齐学Python之有点简约的元组
Sep 24 Python
Windows和Linux下使用Python访问SqlServer的方法介绍
Mar 10 Python
Python排序搜索基本算法之堆排序实例详解
Dec 08 Python
Python cookbook(字符串与文本)在字符串的开头或结尾处进行文本匹配操作
Apr 20 Python
opencv python如何实现图像二值化
Feb 03 Python
Django实现将views.py中的数据传递到前端html页面,并展示
Mar 16 Python
Python3爬虫带上cookie的实例代码
Jul 28 Python
python语言time库和datetime库基本使用详解
Dec 25 Python
python基于OpenCV模板匹配识别图片中的数字
Mar 31 Python
Python各协议下socket黏包问题原理
Apr 12 Python
Python内置包对JSON文件数据进行编码和解码
Apr 12 Python
浅析Django中关于session的使用
Dec 30 #Python
使用pickle存储数据dump 和 load实例讲解
Dec 30 #Python
在Python中利用pickle保存变量的实例
Dec 30 #Python
python Popen 获取输出,等待运行完成示例
Dec 30 #Python
Python3常见函数range()用法详解
Dec 30 #Python
Python Pickle 实现在同一个文件中序列化多个对象
Dec 30 #Python
python使用HTMLTestRunner导出饼图分析报告的方法
Dec 30 #Python
You might like
php 注册时输入信息验证器的实现详解
2013/07/05 PHP
浅析php变量作用域的一些问题
2013/08/08 PHP
php使用MySQL保存session会话的方法
2015/06/26 PHP
php实现对短信验证码发送次数的限制实例讲解
2021/03/04 PHP
JavaScript 申明函数的三种方法 每个函数就是一个对象(一)
2009/12/04 Javascript
利用js实现遮罩以及弹出可移动登录窗口
2013/07/08 Javascript
jquery提交form表单时禁止重复提交的方法
2014/02/13 Javascript
js实现感应鼠标图片透明度变化的方法
2015/02/20 Javascript
JavaScript的Backbone.js框架的一些使用建议整理
2016/02/14 Javascript
Ajax分页插件Pagination从前台jQuery到后端java总结
2016/07/22 Javascript
jQuery EasyUI 为Combo,Combobox添加清除值功能的实例
2017/04/13 jQuery
详解VUE中v-bind的基本用法
2017/07/13 Javascript
js数组实现权重概率分配
2017/09/12 Javascript
JS高级技巧(简洁版)
2018/07/29 Javascript
js实现点击展开隐藏效果(实例代码)
2018/09/28 Javascript
详解angular2如何手动点击特定元素上的点击事件
2018/10/16 Javascript
通过cordova将vue项目打包为webapp的方法
2019/02/02 Javascript
Vue父子组件传值的一些坑
2020/09/16 Javascript
[01:25]2015国际邀请赛最佳短片奖——斧王《拆塔英雄:天赋异禀》
2015/09/22 DOTA
Python 学习笔记
2008/12/27 Python
Python查找文件中包含中文的行方法
2018/12/19 Python
Python控制键盘鼠标pynput的详细用法
2019/01/28 Python
Python生成rsa密钥对操作示例
2019/04/26 Python
pandas进行时间数据的转换和计算时间差并提取年月日
2019/07/06 Python
10个Python面试常问的问题(小结)
2019/11/20 Python
详解Html5原生拖拽操作
2018/01/12 HTML / CSS
HTML5新增的表单元素和属性实例解析
2014/07/07 HTML / CSS
世界最大的私人旅行指南出版商:孤独星球
2016/08/23 全球购物
希尔顿酒店中国网站:Hilton中国
2017/03/11 全球购物
彪马加拿大官网:PUMA加拿大
2018/10/04 全球购物
我的梦中国梦演讲稿
2014/04/23 职场文书
贯彻落实“八项规定”思想汇报
2014/09/13 职场文书
社区党支部承诺书
2015/04/29 职场文书
心得体会该怎么写呢?
2019/06/27 职场文书
mysql聚集索引、辅助索引、覆盖索引、联合索引的使用
2022/02/12 MySQL
MySQL中LAG()函数和LEAD()函数的使用
2022/08/14 MySQL