pytorch cuda上tensor的定义 以及减少cpu的操作详解


Posted in Python onJune 23, 2020

cuda上tensor的定义

a = torch.ones(1000,1000,3).cuda()

某一gpu上定义

cuda1 = torch.device('cuda:1')
b = torch.randn((1000,1000,1000),device=cuda1)

删除某一变量

del a

在cpu定义tensor然后转到gpu

torch.zeros().cuda()

直接在gpu上定义,这样就减少了cpu的损耗

torch.cuda.FloatTensor(batch_size, self.hidden_dim, self.height, self.width).fill_(0)

补充知识:pytorch cuda.FloatTensor->FloatTensor

错误类型:

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor)

定义残差块时定义在model的外面,在使用gpu进行训练的时候,残差块的参数是torch.FloatTensor类型,

虽然使用了model.cuda(),但是只对model里面的参数在gpu部分,所以把残差块对应的操作都在model的__init__(),

重新定义,即可解决问题

以上这篇pytorch cuda上tensor的定义 以及减少cpu的操作详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python类的多重继承问题深入分析
Nov 09 Python
Python标准异常和异常处理详解
Feb 02 Python
Python的Flask框架的简介和安装方法
Nov 13 Python
Python的净值数据接口调用示例分享
Mar 15 Python
Python常见工厂函数用法示例
Mar 21 Python
Python二叉树定义与遍历方法实例分析
May 25 Python
python使用response.read()接收json数据的实例
Dec 19 Python
详解Python3 基本数据类型
Apr 19 Python
详解用python写一个抽奖程序
May 10 Python
Scrapy模拟登录赶集网的实现代码
Jul 07 Python
Python通用唯一标识符uuid模块使用案例
Sep 10 Python
Python解析m3u8拼接下载mp4视频文件的示例代码
Mar 03 Python
Python dict的常用方法示例代码
Jun 23 #Python
Python3 webservice接口测试代码详解
Jun 23 #Python
python和JavaScript哪个容易上手
Jun 23 #Python
pytorch 查看cuda 版本方式
Jun 23 #Python
Spring @Enable模块驱动原理及使用实例
Jun 23 #Python
PyTorch-GPU加速实例
Jun 23 #Python
Python基于yaml文件配置logging日志过程解析
Jun 23 #Python
You might like
ajax完美实现两个网页 分页功能的实例代码
2013/04/16 PHP
PHP的基本常识小结
2013/07/05 PHP
PHP折半(二分)查找算法实例分析
2018/05/12 PHP
firefox firebug中文入门教程 脚本之家新年特别版
2010/01/02 Javascript
WEB 浏览器兼容 推荐收藏
2010/05/14 Javascript
jQuery实现级联菜单效果(仿淘宝首页菜单动画)
2014/04/10 Javascript
JavaScript中的原型继承基础学习教程
2016/05/06 Javascript
浅谈js之字面量、对象字面量的访问、关键字in的用法
2016/11/20 Javascript
svg动画之动态描边效果
2017/02/22 Javascript
jQuery插件echarts实现的单折线图效果示例【附demo源码下载】
2017/03/04 Javascript
详解node如何让一个端口同时支持https与http
2017/07/04 Javascript
JavaScript 中Date对象的格式化代码方法汇总
2017/09/06 Javascript
微信小程序picker组件简单用法示例【附demo源码下载】
2017/12/05 Javascript
Vue 父子组件的数据传递、修改和更新方法
2018/03/01 Javascript
vue 设置proxyTable参数进行代理跨域
2018/04/09 Javascript
利用Node.js批量抓取高清妹子图片实例教程
2018/08/02 Javascript
Vue下拉框回显并默认选中随机问题
2018/09/06 Javascript
JavaScript Array对象基本方法详解
2019/09/03 Javascript
python使用自定义user-agent抓取网页的方法
2015/04/15 Python
简单实现python进度条脚本
2017/12/18 Python
Python实现的爬虫刷回复功能示例
2018/06/07 Python
python做反被爬保护的方法
2019/07/01 Python
Pytorch在dataloader类中设置shuffle的随机数种子方式
2020/01/14 Python
Python drop方法删除列之inplace参数实例
2020/06/27 Python
Python爬虫之爬取淘女郎照片示例详解
2020/07/28 Python
python PIL模块的基本使用
2020/09/29 Python
Django contrib auth authenticate函数源码解析
2020/11/12 Python
python 基于opencv实现高斯平滑
2020/12/18 Python
利用css3制作3D样式按钮实现代码
2013/03/18 HTML / CSS
优衣库澳大利亚官网:UNIQLO澳大利亚
2017/01/18 全球购物
Agoda香港:全球特价酒店预订
2017/05/07 全球购物
加拿大领先的冒险和户外零售商:Atmosphere
2017/12/19 全球购物
新入职员工的自我介绍演讲稿
2014/01/02 职场文书
城市轨道交通工程职业规划书范文
2014/01/18 职场文书
创先争优承诺书范文
2014/03/31 职场文书
Docker部署Mysql8的实现步骤
2022/07/07 Servers