Pytorch反向求导更新网络参数的方法


Posted in Python onAugust 17, 2019

方法一:手动计算变量的梯度,然后更新梯度

import torch
from torch.autograd import Variable
# 定义参数
w1 = Variable(torch.FloatTensor([1,2,3]),requires_grad = True)
# 定义输出
d = torch.mean(w1)
# 反向求导
d.backward()
# 定义学习率等参数
lr = 0.001
# 手动更新参数
w1.data.zero_() # BP求导更新参数之前,需先对导数置0
w1.data.sub_(lr*w1.grad.data)

一个网络中通常有很多变量,如果按照上述的方法手动求导,然后更新参数,是很麻烦的,这个时候可以调用torch.optim

方法二:使用torch.optim

import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.optim as optim
# 这里假设我们定义了一个网络,为net
steps = 10000
# 定义一个optim对象
optimizer = optim.SGD(net.parameters(), lr = 0.01)
# 在for循环中更新参数
for i in range(steps):
 optimizer.zero_grad() # 对网络中参数当前的导数置0
 output = net(input) # 网络前向计算
 loss = criterion(output, target) # 计算损失
 loss.backward() # 得到模型中参数对当前输入的梯度
 optimizer.step() # 更新参数

注意:torch.optim只用于参数更新和对参数的梯度置0,不能计算参数的梯度,在使用torch.optim进行参数更新之前,需要写前向与反向传播求导的代码

以上这篇Pytorch反向求导更新网络参数的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python处理二进制数据的方法
Jun 03 Python
详解Python中 __get__和__getattr__和__getattribute__的区别
Jun 16 Python
举例讲解Python中metaclass元类的创建与使用
Jun 30 Python
总结python爬虫抓站的实用技巧
Aug 09 Python
Python导入模块时遇到的错误分析
Aug 30 Python
浅谈Django的缓存机制
Aug 23 Python
selenium设置proxy、headers的方法(phantomjs、Chrome、Firefox)
Nov 29 Python
对python文件读写的缓冲行为详解
Feb 13 Python
使用python实现名片管理系统
Jun 18 Python
python实现画图工具
Aug 27 Python
Pycharm配置autopep8实现流程解析
Nov 28 Python
PyTorch 中的傅里叶卷积实现示例
Dec 11 Python
pytorch 模型可视化的例子
Aug 17 #Python
pytorch 输出中间层特征的实例
Aug 17 #Python
基于pytorch的保存和加载模型参数的方法
Aug 17 #Python
pytorch 固定部分参数训练的方法
Aug 17 #Python
python之PyQt按钮右键菜单功能的实现代码
Aug 17 #Python
pytorch 在网络中添加可训练参数,修改预训练权重文件的方法
Aug 17 #Python
python PyQt5/Pyside2 按钮右击菜单实例代码
Aug 17 #Python
You might like
浅谈PHP语法(1)
2006/10/09 PHP
php 处理上百万条的数据库如何提高处理查询速度
2010/02/08 PHP
php编写的简单页面跳转功能实现代码
2013/11/27 PHP
配置php.ini实现PHP文件上传功能
2014/11/27 PHP
9个JavaScript评级/投票插件
2010/01/18 Javascript
js中判断文本框是否为空的两种方法
2011/07/31 Javascript
js类型转换与引用类型详解(Boolean_Number_String)
2014/03/07 Javascript
javascript中setTimeout的问题解决方法
2014/05/08 Javascript
js 模式窗口(模式对话框和非模式对话框)的使用介绍
2014/07/17 Javascript
angular中使用路由和$location切换视图
2015/01/23 Javascript
jQuery动态创建元素以及追加节点的实现方法
2016/10/20 Javascript
node.js中debug模块的简单介绍与使用
2017/04/25 Javascript
jQuery读取本地的json文件(实例讲解)
2017/10/31 jQuery
15 分钟掌握vue-next响应式原理
2019/10/13 Javascript
jQuery实现飞机大战小游戏
2020/07/05 jQuery
antd的select下拉框因为数据量太大造成卡顿的解决方式
2020/10/31 Javascript
基于jQuery拖拽事件的封装
2020/11/29 jQuery
[02:39]DOTA2国际邀请赛助威团西雅图第一天
2013/08/08 DOTA
numpy中实现二维数组按照某列、某行排序的方法
2018/04/04 Python
对python以16进制打印字节数组的方法详解
2019/01/24 Python
python遍历文件目录、批量处理同类文件
2019/08/31 Python
Python表达式的优先级详解
2020/02/18 Python
HTML5新增加标签和功能概述
2016/09/05 HTML / CSS
TripAdvisor印尼站:全球领先的旅游网站
2018/03/15 全球购物
澳大利亚优质的家居用品和生活方式公司:Bed Bath N’ Table
2019/04/16 全球购物
英国DIY汽车维修配件网站:DIY Car Service Parts
2019/08/30 全球购物
PHP使用Redis队列执行定时任务实例讲解
2021/03/24 PHP
测绘工程个人的自我评价
2013/11/10 职场文书
行政部岗位职责范本
2014/03/13 职场文书
企业宣传策划方案
2014/05/29 职场文书
广播体操口号
2014/06/18 职场文书
2014年就业工作总结
2014/11/26 职场文书
北京青年观后感
2015/06/15 职场文书
2016年第32个教师节致辞
2015/11/26 职场文书
上帝为你开了一扇窗之Tkinter常用函数详解
2021/06/02 Python
Go语言应该什么情况使用指针
2021/07/25 Golang