pytorch的梯度计算以及backward方法详解


Posted in Python onJanuary 10, 2020

基础知识

tensors:

tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图,从而能够计算梯度。在pytorch中一般叫做dynamic computation graph(DCG)——即动态计算图。

import torch
import numpy as np

# 方式一
x = torch.randn(2,2, requires_grad=True)

# 方式二
x = torch.autograd.Variable(torch.Tensor([2,3]), requires_grad=True)

#方式三
x = torch.tensor([2,3], requires_grad=True, dtype=torch.float64)

# 方式四
x = np.array([1,2,3] ,dtype=np.float64)
x = torch.from_numpy(x)
x.requires_grad = True
# 或者 x.requires_grad_(True)

note1:在pytorch中,只有浮点类型的数才有梯度,故在方法四中指定np数组的类型为float类型。为什么torch.Tensor中不需要呢,可以通过以下代码验证

import torch
import numpy as np

a = torch.Tensor([2,3])
print(a.dtype) # torch.floaat32

b = torch.tensor([2,3])
print(b.dtype) # torch.int64

 c = np.array(2,3)
 print(c.dtype) # int64

note2pytorch中tensor与Tensor的区别是什么?这两个看起来如此相似。

首先,torch.Tensor是一个类,所有的tensor都是Tensor的一个实例;而torch.tensor是一个函数。这也说明了为什么使用torch.Tensor()没有问题而torch.tensor()却有问题。

其次,torch.tensor主要是将一个data封装成tensor,并且可以指定requires_grad。

torch.tensor(data,dtype=None,device=None,requires_grad=False) - > Tensor

最后,我们更多地使用torch.tensor,我们可以通过使用torch.tensor(())来达到与torch.Tensor()同样的效果。

具体可参考torch.tensor与torch.Tensor的区别

Dynamic Computational graph

我们来看一个计算图

pytorch的梯度计算以及backward方法详解

我们 来看一个计算图 解释一下各个属性的含义,

data: 变量中存储的值,如x中存储着1,y中存储着2,z中存储着3

requires_grad:该变量有两个值,True 或者 False,如果为True,则加入到反向传播图中参与计算。

grad:该属性存储着相关的梯度值。当requires_grad为False时,该属性为None。即使requires_grad为True,也必须在调用其他节点的backward()之后,该变量的grad才会保存相关的梯度值。否则为None

grad_fn:表示用于计算梯度的函数。

is_leaf:为True或者False,表示该节点是否为叶子节点。

当调用backward函数时,只有requires_grad为true以及is_leaf为true的节点才会被计算梯度,即grad属性才会被赋予值。

梯度计算

examples

运算结果变量的requires_grad取决于输入变量。例如:当变量z的requires_grad属性为True时,为了求得z的梯度,那么变量b的requires_grad就必须为true了,而变量x,y,a的requires_grad属性都为False。

将事先创建的变量,如x、y、z称为创建变量;像a、b这样由其他变量运算得到的称为结果变量。

from torch.autograd import Variable

x = Variable(torch.randn(2,2))
y = Variable(torch.randn(2,2))
z = Variable(torch.randn(2,2), requires_grad=True)


a = x+y
b = a+z

print(x.requires_grad, y.requires_grad, z.requires_grad) # False, False, True
print(a.requires_grad, b.requires_grad) # False, True

print(x.requires_grad) # True
print(a.requires_grad) # True

调用backward()计算梯度

import torch as t
from torch.autograd import Variable as v

a = v(t.FloatTensor([2, 3]), requires_grad=True) 
b = a + 3
c = b * b * 3
out = c.mean()
out.backward(retain_graph=True) # 这里可以不带参数,默认值为‘1',由于下面我们还要求导,故加上retain_graph=True选项

print(a.grad) # tensor([15., 18.])

backward中的gradient参数使用

a. 最后的结果变量为标量(scalar)

如第二个例子,通过调用out.backward()实现对a的求导,这里默认调用了out.backward(gradient=None)或者指定为out.backward(gradient=torch.Tensor([1.0])

b. 最后的结果变量为向量(vector)

import torch
from torch.autograd import Variable as V

m = V(torch.FloatTensor([2, 3]), requires_grad=True) # 注意这里有两层括号,非标量
n = V(torch.zeros(2))
n[0] = m[0] ** 2
n[1] = m[1] ** 3
n.backward(gradient=torch.Tensor([1,1]), retain_graph=True)
print(m.grad)

结果为:

tensor([ 4., 27.])

如果使用n.backward()的话,那么就会报如下的错:RuntimeError: grad can be implicitly created only for scalar outputs

注意:这里的gradient的维度必须与n的维度相同。其中的原理如下:

在执行z.backward(gradient)的时候,如果z不是一个标量,那么先构造一个标量的值:L = torch.sum(z*gradient),再计算关于L对各个leaf Variable的梯度。

pytorch的梯度计算以及backward方法详解

以上这篇pytorch的梯度计算以及backward方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 装饰器使用详解
Jul 29 Python
使用Python+Splinter自动刷新抢12306火车票
Jan 03 Python
Python读取图片为16进制表示简单代码
Jan 19 Python
python实现归并排序算法
Nov 22 Python
解决pyinstaller打包pyqt5的问题
Jan 08 Python
python itchat给指定联系人发消息的方法
Jun 11 Python
python Django中models进行模糊查询的示例
Jul 18 Python
python matplotlib拟合直线的实现
Nov 19 Python
Python Web静态服务器非堵塞模式实现方法示例
Nov 21 Python
python numpy数组复制使用实例解析
Jan 10 Python
Flask搭建一个API服务器的步骤
May 28 Python
python自动化测试通过日志3分钟定位bug
Nov 20 Python
Python如何获取Win7,Win10系统缩放大小
Jan 10 #Python
python-OpenCV 实现将数组转换成灰度图和彩图
Jan 09 #Python
Python 实现将数组/矩阵转换成Image类
Jan 09 #Python
python 实现将Numpy数组保存为图像
Jan 09 #Python
Python+OpenCV实现将图像转换为二进制格式
Jan 09 #Python
如何使用Python破解ZIP或RAR压缩文件密码
Jan 09 #Python
python读取raw binary图片并提取统计信息的实例
Jan 09 #Python
You might like
木翼下载系统中说明的PHP安全配置方法
2007/06/16 PHP
php5 图片验证码实现代码
2009/12/11 PHP
PHP中array_merge和array相加的区别分析
2013/06/17 PHP
php设置静态内容缓存时间的方法
2014/12/01 PHP
WordPres对前端页面调试时的两个PHP函数使用小技巧
2015/12/22 PHP
Laravel接收前端ajax传来的数据的实例代码
2017/07/20 PHP
PHP等比例压缩图片的实例代码
2018/07/26 PHP
导入extjs、jquery 文件时$使用冲突问题解决方法
2014/01/14 Javascript
jquery提交form表单简单示例分享
2014/03/03 Javascript
js实现网页标题栏闪烁提示效果实例分析
2014/11/20 Javascript
JS实现部分HTML固定页面顶部随屏滚动效果
2015/12/24 Javascript
微信小程序  modal详解及实例代码
2016/11/09 Javascript
初探js和简单隐藏效果的实例
2017/11/23 Javascript
npm 更改默认全局路径以及国内镜像的方法
2018/05/16 Javascript
angular 组件通信的几种实现方式
2018/07/13 Javascript
vue 弹窗时 监听手机返回键关闭弹窗功能(页面不跳转)
2019/05/10 Javascript
微信小程序利用Canvas绘制图片和竖排文字详解
2019/06/25 Javascript
Vue之beforeEach非登录不能访问的实现(代码亲测)
2019/07/18 Javascript
vue仿携程轮播图效果(滑动轮播,下方高度自适应)
2021/02/11 Vue.js
Python中的闭包总结
2014/09/18 Python
Python Django2 model 查询介绍(条件、范围、模糊查询)
2020/03/16 Python
Python-jenkins 获取job构建信息方式
2020/05/12 Python
Pycharm中如何关掉python console
2020/10/27 Python
使用CSS3代码绘制可爱的Hello Kitty猫
2016/08/03 HTML / CSS
html5 移动端视频video的android兼容(去除播放控件、全屏)
2020/03/26 HTML / CSS
西班牙家用电器和电子产品购物网站:Mi Electro
2019/02/25 全球购物
教师绩效考核方案
2014/01/21 职场文书
企业总经理岗位职责
2014/02/13 职场文书
应届生面试求职信
2014/07/02 职场文书
单位委托书怎么写
2014/08/02 职场文书
2014法院干警廉洁警示教育思想汇报
2014/09/13 职场文书
十一国庆节“向国旗敬礼”主题班会活动方案
2014/09/27 职场文书
2014年单位法制宣传日活动总结
2014/11/01 职场文书
2014年学校党建工作总结
2014/11/11 职场文书
2019大学竞选班长发言稿
2019/06/27 职场文书
Python实现位图分割的效果
2021/11/20 Python