pytorch cuda上tensor的定义 以及减少cpu的操作详解


Posted in Python onJune 23, 2020

cuda上tensor的定义

a = torch.ones(1000,1000,3).cuda()

某一gpu上定义

cuda1 = torch.device('cuda:1')
b = torch.randn((1000,1000,1000),device=cuda1)

删除某一变量

del a

在cpu定义tensor然后转到gpu

torch.zeros().cuda()

直接在gpu上定义,这样就减少了cpu的损耗

torch.cuda.FloatTensor(batch_size, self.hidden_dim, self.height, self.width).fill_(0)

补充知识:pytorch cuda.FloatTensor->FloatTensor

错误类型:

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor)

定义残差块时定义在model的外面,在使用gpu进行训练的时候,残差块的参数是torch.FloatTensor类型,

虽然使用了model.cuda(),但是只对model里面的参数在gpu部分,所以把残差块对应的操作都在model的__init__(),

重新定义,即可解决问题

以上这篇pytorch cuda上tensor的定义 以及减少cpu的操作详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python调用系统底层API播放wav文件的方法
Aug 11 Python
Python排序搜索基本算法之堆排序实例详解
Dec 08 Python
python email smtplib模块发送邮件代码实例
Apr 26 Python
浅谈DataFrame和SparkSql取值误区
Jun 09 Python
Python 字符串与二进制串的相互转换示例
Jul 23 Python
对python中Librosa的mfcc步骤详解
Jan 09 Python
Python使用Shelve保存对象方法总结
Jan 28 Python
python计算阶乘和的方法(1!+2!+3!+...+n!)
Feb 01 Python
如何通过python的fabric包完成代码上传部署
Jul 29 Python
Python3合并两个有序数组代码实例
Aug 11 Python
python中print格式化输出的问题
Apr 16 Python
详解Python生成器和基于生成器的协程
Jun 03 Python
Python dict的常用方法示例代码
Jun 23 #Python
Python3 webservice接口测试代码详解
Jun 23 #Python
python和JavaScript哪个容易上手
Jun 23 #Python
pytorch 查看cuda 版本方式
Jun 23 #Python
Spring @Enable模块驱动原理及使用实例
Jun 23 #Python
PyTorch-GPU加速实例
Jun 23 #Python
Python基于yaml文件配置logging日志过程解析
Jun 23 #Python
You might like
深入理解PHP之require/include顺序 推荐
2011/01/02 PHP
那些年一起学习的PHP(三)
2012/03/22 PHP
PHP 利用AJAX获取网页并输出的实现代码(Zjmainstay)
2012/08/31 PHP
PHP数据库处理封装类实例
2016/12/24 PHP
laravel 数据迁移与 Eloquent ORM的实现方法
2019/04/12 PHP
PHP 图片合成、仿微信群头像的方法示例
2019/10/25 PHP
js 未结束的字符串常量错误解决方法
2010/06/13 Javascript
js模拟滚动条(横向竖向)
2013/02/22 Javascript
jQueryUI中的datepicker使用方法详解
2016/05/25 Javascript
javascript事件捕获机制【深入分析IE和DOM中的事件模型】
2016/12/15 Javascript
JS常见创建类的方法小结【工厂方式,构造器方式,原型方式,联合方式等】
2017/04/01 Javascript
NodeJS链接MySql数据库的操作方法
2017/06/27 NodeJs
在vue中封装可复用的组件方法
2018/03/01 Javascript
VUE重点问题总结
2018/03/19 Javascript
jQuery实现的点击按钮改变样式功能示例
2018/07/21 jQuery
关于layui导航栏不展示下拉列表的解决方法
2019/09/25 Javascript
Javascript执行流程细节原理解析
2020/05/14 Javascript
[07:47]DOTA2国际邀请赛采访专栏:探访Valve总部
2013/08/08 DOTA
[01:02:45]完美世界DOTA2联赛 LBZS vs Forest 第三场 11.07
2020/11/09 DOTA
python创建列表并给列表赋初始值的方法
2015/07/28 Python
python批量将excel内容进行翻译写入功能
2019/10/10 Python
python两个_多个字典合并相加的实例代码
2019/12/26 Python
Python字典深浅拷贝与循环方式方法详解
2020/02/09 Python
如何表示python中的相对路径
2020/07/08 Python
New Era英国官网:美国棒球帽品牌
2018/03/21 全球购物
《夜晚的实验》教学反思
2014/02/19 职场文书
大学毕业感言200字
2014/03/09 职场文书
人事经理岗位职责
2014/04/28 职场文书
会计系毕业生求职信
2014/05/28 职场文书
普通党员个人对照检查材料
2014/09/18 职场文书
给老婆道歉的话
2015/01/20 职场文书
教师个人教学反思
2016/02/23 职场文书
工程移交协议书
2016/03/24 职场文书
2019学校请假条格式及范文
2019/06/25 职场文书
mysql主从复制的实现步骤
2021/10/24 MySQL
【TED出品】天梯非主流开心游1700 划水骑士
2022/03/31 魔兽争霸