pytorch cuda上tensor的定义 以及减少cpu的操作详解


Posted in Python onJune 23, 2020

cuda上tensor的定义

a = torch.ones(1000,1000,3).cuda()

某一gpu上定义

cuda1 = torch.device('cuda:1')
b = torch.randn((1000,1000,1000),device=cuda1)

删除某一变量

del a

在cpu定义tensor然后转到gpu

torch.zeros().cuda()

直接在gpu上定义,这样就减少了cpu的损耗

torch.cuda.FloatTensor(batch_size, self.hidden_dim, self.height, self.width).fill_(0)

补充知识:pytorch cuda.FloatTensor->FloatTensor

错误类型:

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor)

定义残差块时定义在model的外面,在使用gpu进行训练的时候,残差块的参数是torch.FloatTensor类型,

虽然使用了model.cuda(),但是只对model里面的参数在gpu部分,所以把残差块对应的操作都在model的__init__(),

重新定义,即可解决问题

以上这篇pytorch cuda上tensor的定义 以及减少cpu的操作详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用cx_Oracle模块将oracle中数据导出到csv文件的方法
May 16 Python
Python 数据结构之旋转链表
Feb 25 Python
python+requests+unittest API接口测试实例(详解)
Jun 10 Python
Python读取txt文件数据的方法(用于接口自动化参数化数据)
Jun 27 Python
Python使用Pickle模块进行数据保存和读取的讲解
Apr 09 Python
python实现自动打卡的示例代码
Oct 10 Python
python excel多行合并的方法
Dec 09 Python
详解使用python爬取抖音app视频(appium可以操控手机)
Jan 26 Python
python中添加模块导入路径的方法
Feb 03 Python
Python 批量下载阴阳师网站壁纸
May 19 Python
教你使用TensorFlow2识别验证码
Jun 11 Python
关于python爬虫应用urllib库作用分析
Sep 04 Python
Python dict的常用方法示例代码
Jun 23 #Python
Python3 webservice接口测试代码详解
Jun 23 #Python
python和JavaScript哪个容易上手
Jun 23 #Python
pytorch 查看cuda 版本方式
Jun 23 #Python
Spring @Enable模块驱动原理及使用实例
Jun 23 #Python
PyTorch-GPU加速实例
Jun 23 #Python
Python基于yaml文件配置logging日志过程解析
Jun 23 #Python
You might like
Mysql和网页显示乱码解决方法集锦
2008/03/27 PHP
php 调用远程url的六种方法小结
2009/11/02 PHP
PHP获取当前所在目录位置的方法
2014/11/26 PHP
php中使用key,value,current,next和prev函数遍历数组的方法
2015/03/17 PHP
基于Swoole实现PHP与websocket聊天室
2016/08/03 PHP
PHP实现获取第一个中文首字母并进行排序的方法
2017/05/09 PHP
php web环境和命令行环境下查找php.ini的位置
2019/07/17 PHP
JQuery的html(data)方法与<script>脚本块的解决方法
2010/03/09 Javascript
jQuery 调用WebService 实例讲解
2016/06/28 Javascript
关于iframe跨域POST提交的方法示例
2017/01/15 Javascript
微信小程序 定位到当前城市实现实例代码
2017/02/23 Javascript
Node.js学习教程之Module模块
2019/09/03 Javascript
vue项目中极验验证的使用代码示例
2019/12/03 Javascript
vue-cli3.0实现一个多页面应用的历奇经历记录总结
2020/03/16 Javascript
js实现登录时记住密码的方法分析
2020/04/05 Javascript
js实现双人五子棋小游戏
2020/05/28 Javascript
[45:46]2014 DOTA2国际邀请赛中国区预选赛5.21 HGT VS DT
2014/05/23 DOTA
Python字符串中查找子串小技巧
2015/04/10 Python
Windows中安装使用Virtualenv来创建独立Python环境
2016/05/31 Python
shell命令行,一键创建 python 模板文件脚本方法
2018/03/20 Python
在Python中使用defaultdict初始化字典以及应用方法
2018/10/31 Python
python实现的爬取电影下载链接功能示例
2019/08/26 Python
TensorFlow固化模型的实现操作
2020/05/26 Python
HTML5页面无缝闪开的问题及解决方案
2020/06/11 HTML / CSS
Links of London官方网站:英国标志性的珠宝品牌
2017/04/09 全球购物
Stokke美国官方网店:高级儿童家具、推车、汽车座椅和配件
2020/06/06 全球购物
迪士尼法国在线商店:shopDisney FR
2020/12/03 全球购物
药学专业大学生个人的自我评价
2013/11/04 职场文书
网上卖盒饭创业计划书范文
2014/02/07 职场文书
银行委托书范本
2014/04/04 职场文书
4S店售后客服自我评价
2014/04/09 职场文书
求职信怎么写
2014/05/23 职场文书
聘用意向书
2014/07/29 职场文书
关于实现中国梦的心得体会
2016/01/05 职场文书
小学英语新课改心得体会
2016/01/22 职场文书
银行求职信怎么写
2019/06/20 职场文书