Pytorch 中的optimizer使用说明


Posted in Python onMarch 03, 2021

与优化函数相关的部分在torch.optim模块中,其中包含了大部分现在已有的流行的优化方法。

如何使用Optimizer

要想使用optimizer,需要创建一个optimizer 对象,这个对象会保存当前状态,并根据梯度更新参数。

怎样构造Optimizer

要构造一个Optimizer,需要使用一个用来包含所有参数(Tensor形式)的iterable,把相关参数(如learning rate、weight decay等)装进去。

注意,如果想要使用.cuda()方法来将model移到GPU中,一定要确保这一步在构造Optimizer之前。因为调用.cuda()之后,model里面的参数已经不是之前的参数了。

示例代码如下:

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum = 0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

常用参数

last_epoch代表上一次的epoch的值,初始值为-1。

单独指定参数

也可以用一个dict的iterable指定参数。这里的每个dict都必须要params这个key,params包含它所属的参数列表。除此之外的key必须它的Optimizer(如SGD)里面有的参数。

You can still pass options as keyword arguments. They will be used as defaults, in the groups that didn't override them. This is useful when you only want to vary a single option, while keeping all others consistent between parameter groups.

这在针对特定部分进行操作时很有用。比如只希望给指定的几个层单独设置学习率:

optim.SGD([
  {'params': model.base.parameters()},
  {'params': model.classifier.parameters(), 'lr': 0.001}
  ],
  
  lr = 0.01, momentum = 0.9)

在上面这段代码中model.base将会使用默认学习率0.01,而model.classifier的参数蒋欢使用0.001的学习率。

怎样进行单次优化

所有optimizer都实现了step()方法,调用这个方法可以更新参数,这个方法有以下两种使用方法:

optimizer.step()

多数optimizer里都可以这么做,每次用backward()这类的方法计算出了梯度后,就可以调用一次这个方法来更新参数。

示例程序:

for input, target in dataset:
 optimizer.zero_grad()
 ouput = model(input)
 loss = loss_fn(output, target)
 loss.backward()
 optimizer.step()

optimizer.step(closure)

有些优化算法会多次重新计算函数(比如Conjugate Gradient、LBFGS),这样的话你就要使用一个闭包(closure)来支持多次计算model的操作。

这个closure的运行过程是,清除梯度,计算loss,返回loss。

(这个我不太理解,因为这些优化算法不熟悉)

示例程序:

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

优化算法

这里就不完整介绍documentation中的内容了,只介绍基类。具体的算法的参数需要理解它们的原理才能明白,这个改天单独来一篇文章介绍。

Optimizer

class torch.optim.Optimizer(params, defaults)

这是所有optimizer的基类。

注意,各参数的顺序必须保证每次运行都一致。有些数据结构就不满足这个条件,比如dictionary的iterator和set。

参数

params(iterable)是torch.Tensor或者dict的iterable。这个参数指定了需要更新的Tensor。

defaults(dict)是一个dict,它包含了默认的的优化选项。

方法

add_param_group(param_group)

这个方法的作用是增加一个参数组,在fine tuning一个预训练的网络时有用。

load_state_dict(state_dict)

这个方法的作用是加载optimizer的状态。

state_dict()

获取一个optimizer的状态(一个dict)。

zero_grad()方法用于清空梯度。

step(closure)用于进行单次更新。

Adam

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)

补充:pytorch里面的Optimizer和optimizer.step()用法

当我们想指定每一层的学习率时:

optim.SGD([
          {'params': model.base.parameters()},
          {'params': model.classifier.parameters(), 'lr': 1e-3}
        ], lr=1e-2, momentum=0.9)

这意味着model.base的参数将会使用1e-2的学习率,model.classifier的参数将会使用1e-3的学习率,并且0.9的momentum将会被用于所有的参数。

进行单次优化

所有的optimizer都实现了step()方法,这个方法会更新所有的参数。它能按两种方式来使用:

optimizer.step()

这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后,我们就可以调用这个函数。

例子

for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()
optimizer.step(closure)

一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数,因此你需要传入一个闭包去允许它们重新计算你的模型。

这个闭包应当清空梯度,计算损失,然后返回。

例子:

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
采用python实现简单QQ单用户机器人的方法
Jul 03 Python
Python最基本的数据类型以及对元组的介绍
Apr 14 Python
Python3 循环语句(for、while、break、range等)
Nov 20 Python
python+matplotlib演示电偶极子实例代码
Jan 12 Python
Python网络爬虫中的同步与异步示例详解
Feb 03 Python
python requests 库请求带有文件参数的接口实例
Jan 03 Python
python将处理好的图像保存到指定目录下的方法
Jan 10 Python
3行Python代码实现图像照片抠图和换底色的方法
Oct 10 Python
python实现淘宝购物系统
Oct 25 Python
详解Python IO口多路复用
Jun 17 Python
Python map及filter函数使用方法解析
Aug 06 Python
Django websocket原理及功能实现代码
Nov 14 Python
解决pytorch 的state_dict()拷贝问题
Mar 03 #Python
解决pytorch 保存模型遇到的问题
Mar 03 #Python
解决pytorch 模型复制的一些问题
Mar 03 #Python
Pytorch模型迁移和迁移学习,导入部分模型参数的操作
Mar 03 #Python
pytorch 实现L2和L1正则化regularization的操作
Mar 03 #Python
Pytorch自定义Dataset和DataLoader去除不存在和空数据的操作
Mar 03 #Python
python爬取youtube视频的示例代码
Mar 03 #Python
You might like
PHP出错界面
2006/10/09 PHP
PHP+JS实现大规模数据提交的方法
2015/07/02 PHP
JavaScript中的集合及效率
2010/01/08 Javascript
javascript 定义新对象方法
2010/02/20 Javascript
图片无缝滚动代码(向左/向下/向上)
2013/04/10 Javascript
jquery 动态创建元素的方式介绍及应用
2013/04/21 Javascript
js判断两个日期是否相等的方法
2013/09/10 Javascript
浅谈jquery事件处理
2015/04/24 Javascript
js实现精确到秒的日期选择器完整实例
2016/04/30 Javascript
Javascript基础_嵌入图像的简单实现
2016/06/14 Javascript
node.js中ws模块创建服务端和客户端,网页WebSocket客户端
2019/03/06 Javascript
javascript 对象 与 prototype 原型用法实例分析
2019/11/11 Javascript
Nodejs封装类似express框架的路由实例详解
2020/01/05 NodeJs
Vue 的 v-model用法实例
2020/11/23 Vue.js
Python写的创建文件夹自定义函数mkdir()
2014/08/25 Python
Python调用系统底层API播放wav文件的方法
2017/08/11 Python
python多任务及返回值的处理方法
2019/01/22 Python
解决pytorch-yolov3 train 报错的问题
2020/02/18 Python
Python实现ElGamal加密算法的示例代码
2020/06/19 Python
解决keras使用cov1D函数的输入问题
2020/06/29 Python
HTML5实现应用程序缓存(Application Cache)
2020/06/16 HTML / CSS
英国现代市场:ARKET
2019/04/10 全球购物
Java servlet面试题
2012/03/04 面试题
销售人员中英文自荐信
2013/09/22 职场文书
多媒体教室标语
2014/06/26 职场文书
销售活动策划方案
2014/08/26 职场文书
在职员工证明书
2014/09/19 职场文书
汽车机电维修工求职信
2014/09/30 职场文书
工资收入证明
2014/10/07 职场文书
公司员工安全协议书
2014/11/21 职场文书
2015年数学教研工作总结
2015/07/22 职场文书
linux下安装redis图文详细步骤
2021/12/04 Redis
Redis调用Lua脚本及使用场景快速掌握
2022/03/16 Redis
「租借女友」第2季樱泽墨角色PV&新视觉图公开
2022/03/21 日漫
js判断两个数组相等的5种方法
2022/05/06 Javascript
Python实战实现爬取天气数据并完成可视化分析详解
2022/06/16 Python