pytorch cuda上tensor的定义 以及减少cpu的操作详解


Posted in Python onJune 23, 2020

cuda上tensor的定义

a = torch.ones(1000,1000,3).cuda()

某一gpu上定义

cuda1 = torch.device('cuda:1')
b = torch.randn((1000,1000,1000),device=cuda1)

删除某一变量

del a

在cpu定义tensor然后转到gpu

torch.zeros().cuda()

直接在gpu上定义,这样就减少了cpu的损耗

torch.cuda.FloatTensor(batch_size, self.hidden_dim, self.height, self.width).fill_(0)

补充知识:pytorch cuda.FloatTensor->FloatTensor

错误类型:

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor)

定义残差块时定义在model的外面,在使用gpu进行训练的时候,残差块的参数是torch.FloatTensor类型,

虽然使用了model.cuda(),但是只对model里面的参数在gpu部分,所以把残差块对应的操作都在model的__init__(),

重新定义,即可解决问题

以上这篇pytorch cuda上tensor的定义 以及减少cpu的操作详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现的系统实用log类实例
Jun 30 Python
Python cx_freeze打包工具处理问题思路及解决办法
Feb 13 Python
Python如何实现文本转语音
Aug 08 Python
Python异常处理操作实例详解
Aug 28 Python
利用python提取wav文件的mfcc方法
Jan 09 Python
Python Numpy 实现交换两行和两列的方法
Jun 26 Python
python区块及区块链的开发详解
Jul 03 Python
python实现简单井字棋小游戏
Mar 05 Python
关于Django Models CharField 参数说明
Mar 31 Python
Python -m参数原理及使用方法解析
Aug 21 Python
Python使用psutil库对系统数据进行采集监控的方法
Aug 23 Python
7个关于Python的经典基础案例
Nov 07 Python
Python dict的常用方法示例代码
Jun 23 #Python
Python3 webservice接口测试代码详解
Jun 23 #Python
python和JavaScript哪个容易上手
Jun 23 #Python
pytorch 查看cuda 版本方式
Jun 23 #Python
Spring @Enable模块驱动原理及使用实例
Jun 23 #Python
PyTorch-GPU加速实例
Jun 23 #Python
Python基于yaml文件配置logging日志过程解析
Jun 23 #Python
You might like
如何给phpadmin一个保护
2006/10/09 PHP
PHP函数之日期时间函数date()使用详解
2013/09/09 PHP
php常用hash加密函数
2014/11/22 PHP
Yii2中多表关联查询hasOne hasMany的方法
2017/02/15 PHP
OAuth认证协议中的HMACSHA1加密算法(实例)
2017/10/25 PHP
一个挺有意思的Javascript小问题说明
2011/09/26 Javascript
jquery创建并行对象或者合并对象的实现代码
2012/10/10 Javascript
基于jquery DOM写的类似微博发布的效果
2012/10/20 Javascript
关于JavaScript中string 的replace
2013/04/12 Javascript
js使用Array.prototype.sort()对数组对象排序的方法
2015/01/28 Javascript
js与jquery回车提交的方法
2015/02/03 Javascript
javascript继承的六大模式小结
2015/04/13 Javascript
JS实现三级折叠菜单特效,其它级可自动收缩
2015/08/06 Javascript
详解Node.js实现301、302重定向服务
2017/04/07 Javascript
jQuery中each循环的跳出和结束实例
2017/08/16 jQuery
解决vue2中使用axios http请求出现的问题
2018/03/05 Javascript
VUE在for循环里面根据内容值动态的加入class值的方法
2018/08/12 Javascript
JavaScript实现图片轮播特效
2019/10/23 Javascript
Vue开发环境跨域访问问题
2020/01/22 Javascript
python中利用await关键字如何等待Future对象完成详解
2017/09/07 Python
Python使用win32com模块实现数据库表结构自动生成word表格的方法
2018/07/17 Python
Python逐行读取文件中内容的简单方法
2019/02/26 Python
Ubuntu下Anaconda和Pycharm配置方法详解
2019/06/14 Python
Django CBV类的用法详解
2019/07/26 Python
python+selenium 鼠标事件操作方法
2019/08/24 Python
Python实现Wordcloud生成词云图的示例
2020/03/30 Python
html5 video全屏播放/自动播放的实现示例
2020/08/06 HTML / CSS
美国汽车交易网站:Edmunds
2016/08/17 全球购物
保加利亚运动鞋购物网站:SneakerStudio.bg
2020/12/23 全球购物
人力资源部培训专员岗位职责
2014/01/02 职场文书
设计师求职信模板
2014/05/06 职场文书
食堂卫生管理制度
2015/08/04 职场文书
企业年会祝酒词
2015/08/11 职场文书
新娘婚礼答谢词
2015/09/29 职场文书
创业计划书之网吧
2019/10/10 职场文书
教你快速构建一个基于nginx的web集群项目
2021/11/27 Servers