pytorch的梯度计算以及backward方法详解


Posted in Python onJanuary 10, 2020

基础知识

tensors:

tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图,从而能够计算梯度。在pytorch中一般叫做dynamic computation graph(DCG)——即动态计算图。

import torch
import numpy as np

# 方式一
x = torch.randn(2,2, requires_grad=True)

# 方式二
x = torch.autograd.Variable(torch.Tensor([2,3]), requires_grad=True)

#方式三
x = torch.tensor([2,3], requires_grad=True, dtype=torch.float64)

# 方式四
x = np.array([1,2,3] ,dtype=np.float64)
x = torch.from_numpy(x)
x.requires_grad = True
# 或者 x.requires_grad_(True)

note1:在pytorch中,只有浮点类型的数才有梯度,故在方法四中指定np数组的类型为float类型。为什么torch.Tensor中不需要呢,可以通过以下代码验证

import torch
import numpy as np

a = torch.Tensor([2,3])
print(a.dtype) # torch.floaat32

b = torch.tensor([2,3])
print(b.dtype) # torch.int64

 c = np.array(2,3)
 print(c.dtype) # int64

note2pytorch中tensor与Tensor的区别是什么?这两个看起来如此相似。

首先,torch.Tensor是一个类,所有的tensor都是Tensor的一个实例;而torch.tensor是一个函数。这也说明了为什么使用torch.Tensor()没有问题而torch.tensor()却有问题。

其次,torch.tensor主要是将一个data封装成tensor,并且可以指定requires_grad。

torch.tensor(data,dtype=None,device=None,requires_grad=False) - > Tensor

最后,我们更多地使用torch.tensor,我们可以通过使用torch.tensor(())来达到与torch.Tensor()同样的效果。

具体可参考torch.tensor与torch.Tensor的区别

Dynamic Computational graph

我们来看一个计算图

pytorch的梯度计算以及backward方法详解

我们 来看一个计算图 解释一下各个属性的含义,

data: 变量中存储的值,如x中存储着1,y中存储着2,z中存储着3

requires_grad:该变量有两个值,True 或者 False,如果为True,则加入到反向传播图中参与计算。

grad:该属性存储着相关的梯度值。当requires_grad为False时,该属性为None。即使requires_grad为True,也必须在调用其他节点的backward()之后,该变量的grad才会保存相关的梯度值。否则为None

grad_fn:表示用于计算梯度的函数。

is_leaf:为True或者False,表示该节点是否为叶子节点。

当调用backward函数时,只有requires_grad为true以及is_leaf为true的节点才会被计算梯度,即grad属性才会被赋予值。

梯度计算

examples

运算结果变量的requires_grad取决于输入变量。例如:当变量z的requires_grad属性为True时,为了求得z的梯度,那么变量b的requires_grad就必须为true了,而变量x,y,a的requires_grad属性都为False。

将事先创建的变量,如x、y、z称为创建变量;像a、b这样由其他变量运算得到的称为结果变量。

from torch.autograd import Variable

x = Variable(torch.randn(2,2))
y = Variable(torch.randn(2,2))
z = Variable(torch.randn(2,2), requires_grad=True)


a = x+y
b = a+z

print(x.requires_grad, y.requires_grad, z.requires_grad) # False, False, True
print(a.requires_grad, b.requires_grad) # False, True

print(x.requires_grad) # True
print(a.requires_grad) # True

调用backward()计算梯度

import torch as t
from torch.autograd import Variable as v

a = v(t.FloatTensor([2, 3]), requires_grad=True) 
b = a + 3
c = b * b * 3
out = c.mean()
out.backward(retain_graph=True) # 这里可以不带参数,默认值为‘1',由于下面我们还要求导,故加上retain_graph=True选项

print(a.grad) # tensor([15., 18.])

backward中的gradient参数使用

a. 最后的结果变量为标量(scalar)

如第二个例子,通过调用out.backward()实现对a的求导,这里默认调用了out.backward(gradient=None)或者指定为out.backward(gradient=torch.Tensor([1.0])

b. 最后的结果变量为向量(vector)

import torch
from torch.autograd import Variable as V

m = V(torch.FloatTensor([2, 3]), requires_grad=True) # 注意这里有两层括号,非标量
n = V(torch.zeros(2))
n[0] = m[0] ** 2
n[1] = m[1] ** 3
n.backward(gradient=torch.Tensor([1,1]), retain_graph=True)
print(m.grad)

结果为:

tensor([ 4., 27.])

如果使用n.backward()的话,那么就会报如下的错:RuntimeError: grad can be implicitly created only for scalar outputs

注意:这里的gradient的维度必须与n的维度相同。其中的原理如下:

在执行z.backward(gradient)的时候,如果z不是一个标量,那么先构造一个标量的值:L = torch.sum(z*gradient),再计算关于L对各个leaf Variable的梯度。

pytorch的梯度计算以及backward方法详解

以上这篇pytorch的梯度计算以及backward方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python学习笔记(一)(基础入门之环境搭建)
Jun 05 Python
从Python的源码来解析Python下的freeblock
May 11 Python
聊聊Python中的pypy
Jan 12 Python
pandas带有重复索引操作方法
Jun 08 Python
浅谈pyqt5中信号与槽的认识
Feb 17 Python
如何在Python中实现goto语句的方法
May 18 Python
详解如何用TensorFlow训练和识别/分类自定义图片
Aug 05 Python
Tensorflow 使用pb文件保存(恢复)模型计算图和参数实例详解
Feb 11 Python
pandas分组聚合详解
Apr 10 Python
详解用Python爬虫获取百度企业信用中企业基本信息
Jul 02 Python
只需要100行Python代码就可以实现的贪吃蛇小游戏
May 27 Python
上帝为你开了一扇窗之Tkinter常用函数详解
Jun 02 Python
Python如何获取Win7,Win10系统缩放大小
Jan 10 #Python
python-OpenCV 实现将数组转换成灰度图和彩图
Jan 09 #Python
Python 实现将数组/矩阵转换成Image类
Jan 09 #Python
python 实现将Numpy数组保存为图像
Jan 09 #Python
Python+OpenCV实现将图像转换为二进制格式
Jan 09 #Python
如何使用Python破解ZIP或RAR压缩文件密码
Jan 09 #Python
python读取raw binary图片并提取统计信息的实例
Jan 09 #Python
You might like
PHP读取xml方法介绍
2013/01/12 PHP
php基于mcrypt的加密解密实例
2014/10/27 PHP
php官方微信接口大全(微信支付、微信红包、微信摇一摇、微信小店)
2015/12/21 PHP
php的api数据接口书写实例(推荐)
2016/09/22 PHP
Jquery 获取表单text,areatext,radio,checkbox,select值的代码
2009/11/12 Javascript
js键盘上下左右键怎么触发function(实例讲解)
2013/12/14 Javascript
javascript中的事件代理初探
2014/03/08 Javascript
用JavaScript显示浏览器客户端信息的超相近教程
2015/06/18 Javascript
JavaScript编写带旋转+线条干扰的验证码脚本实例
2016/05/30 Javascript
Bootstrap在线电子商务网站实战项目5
2016/10/14 Javascript
AngularJS中isolate scope的用法分析
2016/11/22 Javascript
浅析JavaScript中break、continue和return的区别
2016/11/30 Javascript
vue + socket.io实现一个简易聊天室示例代码
2017/03/06 Javascript
聊聊JS动画库 Velocity.js的使用
2018/03/13 Javascript
Spring boot 和Vue开发中CORS跨域问题解决
2018/09/05 Javascript
react-router4按需加载(踩坑填坑)
2019/01/06 Javascript
彻底揭秘keep-alive原理(小结)
2019/05/05 Javascript
全局安装 Vue cli3 和 继续使用 Vue-cli2.x操作
2020/09/08 Javascript
[02:22]2018DOTA2亚洲邀请赛VG赛前采访
2018/04/03 DOTA
[48:11]完美世界DOTA2联赛 Magma vs GXR 第二场 11.07
2020/11/10 DOTA
Python实现获取网站PR及百度权重
2015/01/21 Python
python matlibplot绘制多条曲线图
2021/02/19 Python
解决Python selenium get页面很慢时的问题
2019/01/30 Python
Canvas多边形绘制的实现方法
2019/08/05 HTML / CSS
AmazeUI的JS表单验证框架实战示例分享
2020/08/21 HTML / CSS
采购主管岗位职责
2014/02/01 职场文书
物理力学求职信
2014/02/18 职场文书
大学优秀班集体申报材料
2014/05/23 职场文书
护理学院专科毕业生求职信
2014/06/28 职场文书
2015重阳节敬老活动总结
2015/07/29 职场文书
小学感恩主题班会
2015/08/12 职场文书
Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤
2021/03/29 Python
python基于tkinter制作无损音乐下载工具
2021/03/29 Python
《遗弃》开发商删推文要跑路?官方回应:还在开发
2022/04/03 其他游戏
Node.js实现爬取网站图片的示例代码
2022/04/04 NodeJs
Linux下搭建SFTP服务器的命令详解
2022/06/25 Servers