pytorch cuda上tensor的定义 以及减少cpu的操作详解


Posted in Python onJune 23, 2020

cuda上tensor的定义

a = torch.ones(1000,1000,3).cuda()

某一gpu上定义

cuda1 = torch.device('cuda:1')
b = torch.randn((1000,1000,1000),device=cuda1)

删除某一变量

del a

在cpu定义tensor然后转到gpu

torch.zeros().cuda()

直接在gpu上定义,这样就减少了cpu的损耗

torch.cuda.FloatTensor(batch_size, self.hidden_dim, self.height, self.width).fill_(0)

补充知识:pytorch cuda.FloatTensor->FloatTensor

错误类型:

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor)

定义残差块时定义在model的外面,在使用gpu进行训练的时候,残差块的参数是torch.FloatTensor类型,

虽然使用了model.cuda(),但是只对model里面的参数在gpu部分,所以把残差块对应的操作都在model的__init__(),

重新定义,即可解决问题

以上这篇pytorch cuda上tensor的定义 以及减少cpu的操作详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中使用异步Socket编程性能测试
Jun 25 Python
python字典DICT类型合并详解
Aug 17 Python
python批量读取txt文件为DataFrame的方法
Apr 03 Python
PyQt5根据控件Id获取控件对象的方法
Jun 25 Python
利用Pandas和Numpy按时间戳将数据以Groupby方式分组
Jul 22 Python
Python学习笔记之文件的读写操作实例分析
Aug 07 Python
Python 寻找局部最高点的实现
Dec 05 Python
keras小技巧——获取某一个网络层的输出方式
May 23 Python
解决keras加入lambda层时shape的问题
Jun 11 Python
python中的错误如何查看
Jul 08 Python
python 使用elasticsearch 实现翻页的三种方式
Jul 31 Python
LyScript实现绕过反调试保护的示例详解
Aug 14 Python
Python dict的常用方法示例代码
Jun 23 #Python
Python3 webservice接口测试代码详解
Jun 23 #Python
python和JavaScript哪个容易上手
Jun 23 #Python
pytorch 查看cuda 版本方式
Jun 23 #Python
Spring @Enable模块驱动原理及使用实例
Jun 23 #Python
PyTorch-GPU加速实例
Jun 23 #Python
Python基于yaml文件配置logging日志过程解析
Jun 23 #Python
You might like
Ajax+PHP快速上手及简单应用说明
2013/07/24 PHP
php获取YouTube视频信息的方法
2015/02/11 PHP
MacOS 安装 PHP的图片裁剪扩展Tclip
2015/03/25 PHP
window.showModalDialog使用手册
2007/01/11 Javascript
检测是否已安装 .NET Framework 3.5的js脚本
2009/02/14 Javascript
JQuery 选择器 xpath 语法应用
2010/05/13 Javascript
js实现目录定位正文示例
2013/11/14 Javascript
JavaScript动态操作表格实例(添加,删除行,列及单元格)
2013/11/25 Javascript
JavaScript实现动态创建CSS样式规则方案
2014/09/06 Javascript
JavaScript实现twitter puddles算法实例
2014/12/06 Javascript
javascript制作的简单注册模块表单验证
2015/04/13 Javascript
jquery实现动态改变div宽度和高度
2015/05/08 Javascript
JavaScript中利用jQuery绑定事件的几种方式小结
2016/03/06 Javascript
JavaScript数组方法总结分析
2016/05/06 Javascript
详解JavaScript中的属性和特性
2016/12/08 Javascript
JavaScript实现提交模式窗口后刷新父窗口数据的方法
2017/06/16 Javascript
jQuery实现用户信息表格的添加和删除功能
2017/09/12 jQuery
微信小程序城市选择及搜索功能的方法
2019/03/22 Javascript
微信小程序实现多选框全选与取消全选功能示例
2019/05/14 Javascript
手把手教你实现 Promise的使用方法
2020/09/02 Javascript
[05:05]DOTA2亚洲邀请赛 战队出场仪式
2015/02/07 DOTA
python虚拟环境virualenv的安装与使用
2016/12/18 Python
实例讲解python中的协程
2018/10/08 Python
Python3日期与时间戳转换的几种方法详解
2019/06/04 Python
pytorch torch.expand和torch.repeat的区别详解
2019/11/05 Python
Python pandas自定义函数的使用方法示例
2019/11/20 Python
小结Python的反射机制
2020/09/28 Python
英国袜子店:Sock Shop
2017/01/11 全球购物
俄罗斯香水和化妆品在线商店:Aroma-butik
2020/02/28 全球购物
英国运动风奢侈品购物网站:Maison De Fashion
2020/08/28 全球购物
大学生志愿者感言
2014/01/15 职场文书
表彰大会策划方案
2014/05/13 职场文书
2014年党员承诺书范文
2014/05/20 职场文书
python基础之类方法和静态方法
2021/10/24 Python
SpringBoot+Redis实现布隆过滤器的示例代码
2022/03/17 Java/Android
python DataFrame中stack()方法、unstack()方法和pivot()方法浅析
2022/04/06 Python