PyTorch中clone()、detach()及相关扩展详解


Posted in Python onDecember 09, 2020

clone() 与 detach() 对比

Torch 为了提高速度,向量或是矩阵的赋值是指向同一内存的,这不同于 Matlab。如果需要保存旧的tensor即需要开辟新的存储地址而不是引用,可以用 clone() 进行深拷贝,

首先我们来打印出来clone()操作后的数据类型定义变化:

(1). 简单打印类型

import torch

a = torch.tensor(1.0, requires_grad=True)
b = a.clone()
c = a.detach()
a.data *= 3
b += 1

print(a) # tensor(3., requires_grad=True)
print(b)
print(c)

'''
输出结果:
tensor(3., requires_grad=True)
tensor(2., grad_fn=<AddBackward0>)
tensor(3.) # detach()后的值随着a的变化出现变化
'''

grad_fn=<CloneBackward>,表示clone后的返回值是个中间变量,因此支持梯度的回溯。clone操作在一定程度上可以视为是一个identity-mapping函数。

detach()操作后的tensor与原始tensor共享数据内存,当原始tensor在计算图中数值发生反向传播等更新之后,detach()的tensor值也发生了改变。

注意: 在pytorch中我们不要直接使用id是否相等来判断tensor是否共享内存,这只是充分条件,因为也许底层共享数据内存,但是仍然是新的tensor,比如detach(),如果我们直接打印id会出现以下情况。

import torch as t
a = t.tensor([1.0,2.0], requires_grad=True)
b = a.detach()
#c[:] = a.detach()
print(id(a))
print(id(b))
#140568935450520
140570337203616

显然直接打印出来的id不等,我们可以通过简单的赋值后观察数据变化进行判断。

(2). clone()的梯度回传

detach()函数可以返回一个完全相同的tensor,与旧的tensor共享内存,脱离计算图,不会牵扯梯度计算。

而clone充当中间变量,会将梯度传给源张量进行叠加,但是本身不保存其grad,即值为None

import torch
a = torch.tensor(1.0, requires_grad=True)
a_ = a.clone()
y = a**2
z = a ** 2+a_ * 3
y.backward()
print(a.grad) # 2
z.backward()
print(a_.grad) # None. 中间variable,无grad
print(a.grad) 
'''
输出:
tensor(2.) 
None
tensor(7.) # 2*2+3=7
'''

使用torch.clone()获得的新tensor和原来的数据不再共享内存,但仍保留在计算图中,clone操作在不共享数据内存的同时支持梯度梯度传递与叠加,所以常用在神经网络中某个单元需要重复使用的场景下。

通常如果原tensor的requires_grad=True,则:

  • clone()操作后的tensor requires_grad=True
  • detach()操作后的tensor requires_grad=False。
import torch
torch.manual_seed(0)

x= torch.tensor([1., 2.], requires_grad=True)
clone_x = x.clone() 
detach_x = x.detach()
clone_detach_x = x.clone().detach() 

f = torch.nn.Linear(2, 1)
y = f(x)
y.backward()

print(x.grad)
print(clone_x.requires_grad)
print(clone_x.grad)
print(detach_x.requires_grad)
print(clone_detach_x.requires_grad)
'''
输出结果如下:
tensor([-0.0053, 0.3793])
True
None
False
False
'''

另一个比较特殊的是当源张量的 require_grad=False,clone后的张量 require_grad=True,此时不存在张量回传现象,可以得到clone后的张量求导。

如下:

import torch
a = torch.tensor(1.0)
a_ = a.clone()
a_.requires_grad_() #require_grad=True
y = a_ ** 2
y.backward()
print(a.grad) # None
print(a_.grad) 
'''
输出:
None
tensor(2.)
'''

了解了两者的区别后我们常与其他函数进行搭配使用,实现数据拷贝后的其他需要。

比如我们经常使用view()函数对tensor进行reshape操作。返回的新Tensor与源Tensor可能有不同的size,但是是共享data的,即其中的一个发生变化,另外一个也会跟着改变。

需要注意的是view返回的Tensor与源Tensor是共享data的,但是依然是一个新的Tensor(因为Tensor除了包含data外还有一些其他属性),两者id(内存地址)并不一致。

x = torch.rand(2, 2)
y = x.view(4)
x += 1
print(x)
print(y) # 也加了1

view() 仅仅是改变了对这个张量的观察角度,内部数据并未改变。这时候想返回一个真正新的副本(即不共享data内存)该怎么办呢?Pytorch还提供了一个reshape()可以改变形状,但是此函数并不能保证返回的是其拷贝,所以不推荐使用。推荐先用clone创造一个副本然后再使用view。参考此处

x = torch.rand(2, 2)
x_cp = x.clone().view(4)
x += 1
print(id(x))
print(id(x_cp))
print(x)
print(x_cp)
'''
140568935036464
140568935035816
tensor([[0.4963, 0.7682],
 [0.1320, 0.3074]])
tensor([[1.4963, 1.7682, 1.1320, 1.3074]]) 
'''

另外使用clone()会被记录在计算图中,即梯度回传到副本时也会传到源Tensor。在上一篇中有总结。

总结:

  • torch.detach() — 新的tensor会脱离计算图,不会牵扯梯度计算
  • torch.clone() — 新的tensor充当中间变量,会保留在计算图中,参与梯度计算(回传叠加),但是一般不会保留自身梯度。
    原地操作(in-place, such as resize_ / resize_as_ / set_ / transpose_) 在上面两者中执行都会引发错误或者警告。
  • 共享数据内存是底层设计,并不能简单的通过直接打印tensor的id地址进行判断,需要在进行赋值或运算操作后打印比较数据的变化进行判断。
  • 复制操作可以根据实际需要进行结合使用。

引用官方文档的话:如果你使用了in-place operation而没有报错的话,那么你可以确定你的梯度计算是正确的。另外尽量避免in-place的使用。

像y = x + y这样的运算会新开内存,然后将y指向新内存。我们可以使用Python自带的id函数进行验证:如果两个实例的ID相同,则它们所对应的内存地址相同。

到此这篇关于PyTorch中clone()、detach()及相关扩展详解的文章就介绍到这了,更多相关PyTorch中clone()、detach()及相关扩展内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用Python3中的gettext模块翻译Python源码以支持多语言
Mar 31 Python
Python的字典和列表的使用中一些需要注意的地方
Apr 24 Python
在Python中使用列表生成式的教程
Apr 27 Python
详解Python迭代和迭代器
Mar 28 Python
PyQt5实现类似别踩白块游戏
Jan 24 Python
详解python3 + Scrapy爬虫学习之创建项目
Apr 12 Python
python面向对象法实现图书管理系统
Apr 19 Python
Python 图像对比度增强的几种方法(小结)
Sep 25 Python
python中的split()函数和os.path.split()函数使用详解
Dec 21 Python
Python下利用BeautifulSoup解析HTML的实现
Jan 17 Python
Anaconda+Pycharm环境下的PyTorch配置方法
Mar 13 Python
Python将字典转换为XML的方法
Aug 01 Python
python调用jenkinsAPI构建jenkins,并传递参数的示例
Dec 09 #Python
python excel多行合并的方法
Dec 09 #Python
PyTorch中的拷贝与就地操作详解
Dec 09 #Python
python 调用Google翻译接口的方法
Dec 09 #Python
浅析Python 中的 WSGI 接口和 WSGI 服务的运行
Dec 09 #Python
python dir函数快速掌握用法技巧
Dec 09 #Python
5 分钟读懂Python 中的 Hook 钩子函数
Dec 09 #Python
You might like
PHP简单获取多个checkbox值的方法
2016/06/13 PHP
HTML代码中标签的全部属性 中文注释说明
2009/03/26 Javascript
侧栏跟随滚动的简单实现代码
2013/03/18 Javascript
谈谈关于JavaScript 中的 MVC 模式
2013/04/11 Javascript
关于JavaScript对象的动态选择及遍历对象
2014/03/10 Javascript
javascript随机显示背景图片的方法
2015/06/18 Javascript
javascript最基本的函数汇总
2015/06/25 Javascript
理解javascript闭包
2015/12/15 Javascript
浅谈js控制li标签排序问题 js调用php函数的方法
2016/10/16 Javascript
jQuery Collapse1.1.0折叠插件简单使用
2017/08/28 jQuery
vue使用中的内存泄漏【推荐】
2018/07/10 Javascript
vuejs router history 配置到iis的方法
2018/09/20 Javascript
JavaScript封闭函数及常用内置对象示例
2019/05/13 Javascript
Vue 实现从文件中获取文本信息的方法详解
2019/10/16 Javascript
vue中实现回车键登录功能
2020/02/19 Javascript
Python中的yield浅析
2014/06/16 Python
在Python的框架中为MySQL实现restful接口的教程
2015/04/08 Python
python和shell获取文本内容的方法
2018/06/05 Python
python实现简单五子棋游戏
2019/06/18 Python
python 自动轨迹绘制的实例代码
2019/07/05 Python
python爬虫之快速对js内容进行破解
2019/07/09 Python
Python实现微信小程序支付功能
2019/07/25 Python
django 使用 PIL 压缩图片的例子
2019/08/16 Python
python使用HTMLTestRunner导出饼图分析报告的方法
2019/12/30 Python
中国专业的综合网上购物商城:京东
2016/08/02 全球购物
Ralph Lauren拉夫·劳伦美国官网:带有浓郁美国气息的高品味时装品牌
2017/11/01 全球购物
日语专业个人的求职信
2013/12/03 职场文书
2014年乡镇植树节活动方案
2014/02/28 职场文书
《绿色蝈蝈》教学反思
2014/03/02 职场文书
党的生日演讲稿
2014/09/10 职场文书
信用卡结清证明怎么写
2014/09/13 职场文书
少先队辅导员事迹材料
2014/12/24 职场文书
个人委托函范文
2015/01/29 职场文书
观后感开头
2015/06/19 职场文书
家长会感言
2015/08/01 职场文书
浅谈Python数学建模之数据导入
2021/06/23 Python