Pytorch 中的optimizer使用说明


Posted in Python onMarch 03, 2021

与优化函数相关的部分在torch.optim模块中,其中包含了大部分现在已有的流行的优化方法。

如何使用Optimizer

要想使用optimizer,需要创建一个optimizer 对象,这个对象会保存当前状态,并根据梯度更新参数。

怎样构造Optimizer

要构造一个Optimizer,需要使用一个用来包含所有参数(Tensor形式)的iterable,把相关参数(如learning rate、weight decay等)装进去。

注意,如果想要使用.cuda()方法来将model移到GPU中,一定要确保这一步在构造Optimizer之前。因为调用.cuda()之后,model里面的参数已经不是之前的参数了。

示例代码如下:

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum = 0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

常用参数

last_epoch代表上一次的epoch的值,初始值为-1。

单独指定参数

也可以用一个dict的iterable指定参数。这里的每个dict都必须要params这个key,params包含它所属的参数列表。除此之外的key必须它的Optimizer(如SGD)里面有的参数。

You can still pass options as keyword arguments. They will be used as defaults, in the groups that didn't override them. This is useful when you only want to vary a single option, while keeping all others consistent between parameter groups.

这在针对特定部分进行操作时很有用。比如只希望给指定的几个层单独设置学习率:

optim.SGD([
  {'params': model.base.parameters()},
  {'params': model.classifier.parameters(), 'lr': 0.001}
  ],
  
  lr = 0.01, momentum = 0.9)

在上面这段代码中model.base将会使用默认学习率0.01,而model.classifier的参数蒋欢使用0.001的学习率。

怎样进行单次优化

所有optimizer都实现了step()方法,调用这个方法可以更新参数,这个方法有以下两种使用方法:

optimizer.step()

多数optimizer里都可以这么做,每次用backward()这类的方法计算出了梯度后,就可以调用一次这个方法来更新参数。

示例程序:

for input, target in dataset:
 optimizer.zero_grad()
 ouput = model(input)
 loss = loss_fn(output, target)
 loss.backward()
 optimizer.step()

optimizer.step(closure)

有些优化算法会多次重新计算函数(比如Conjugate Gradient、LBFGS),这样的话你就要使用一个闭包(closure)来支持多次计算model的操作。

这个closure的运行过程是,清除梯度,计算loss,返回loss。

(这个我不太理解,因为这些优化算法不熟悉)

示例程序:

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

优化算法

这里就不完整介绍documentation中的内容了,只介绍基类。具体的算法的参数需要理解它们的原理才能明白,这个改天单独来一篇文章介绍。

Optimizer

class torch.optim.Optimizer(params, defaults)

这是所有optimizer的基类。

注意,各参数的顺序必须保证每次运行都一致。有些数据结构就不满足这个条件,比如dictionary的iterator和set。

参数

params(iterable)是torch.Tensor或者dict的iterable。这个参数指定了需要更新的Tensor。

defaults(dict)是一个dict,它包含了默认的的优化选项。

方法

add_param_group(param_group)

这个方法的作用是增加一个参数组,在fine tuning一个预训练的网络时有用。

load_state_dict(state_dict)

这个方法的作用是加载optimizer的状态。

state_dict()

获取一个optimizer的状态(一个dict)。

zero_grad()方法用于清空梯度。

step(closure)用于进行单次更新。

Adam

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)

补充:pytorch里面的Optimizer和optimizer.step()用法

当我们想指定每一层的学习率时:

optim.SGD([
          {'params': model.base.parameters()},
          {'params': model.classifier.parameters(), 'lr': 1e-3}
        ], lr=1e-2, momentum=0.9)

这意味着model.base的参数将会使用1e-2的学习率,model.classifier的参数将会使用1e-3的学习率,并且0.9的momentum将会被用于所有的参数。

进行单次优化

所有的optimizer都实现了step()方法,这个方法会更新所有的参数。它能按两种方式来使用:

optimizer.step()

这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后,我们就可以调用这个函数。

例子

for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()
optimizer.step(closure)

一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数,因此你需要传入一个闭包去允许它们重新计算你的模型。

这个闭包应当清空梯度,计算损失,然后返回。

例子:

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
python基础教程之popen函数操作其它程序的输入和输出示例
Feb 10 Python
初步解析Python下的多进程编程
Apr 28 Python
python3之微信文章爬虫实例讲解
Jul 12 Python
numpy.random.seed()的使用实例解析
Feb 03 Python
20个常用Python运维库和模块
Feb 12 Python
Python并行分布式框架Celery详解
Oct 15 Python
利用django+wechat-python-sdk 创建微信服务器接入的方法
Feb 20 Python
Python分支语句与循环语句应用实例分析
May 07 Python
python3中pip3安装出错,找不到SSL的解决方式
Dec 12 Python
python实现根据给定坐标点生成多边形mask的例子
Feb 18 Python
Python selenium模块实现定位过程解析
Jul 09 Python
解决python运行效率不高的问题
Jul 20 Python
解决pytorch 的state_dict()拷贝问题
Mar 03 #Python
解决pytorch 保存模型遇到的问题
Mar 03 #Python
解决pytorch 模型复制的一些问题
Mar 03 #Python
Pytorch模型迁移和迁移学习,导入部分模型参数的操作
Mar 03 #Python
pytorch 实现L2和L1正则化regularization的操作
Mar 03 #Python
Pytorch自定义Dataset和DataLoader去除不存在和空数据的操作
Mar 03 #Python
python爬取youtube视频的示例代码
Mar 03 #Python
You might like
PHP/HTML混写的四种方式总结
2017/02/27 PHP
PHP进阶学习之命名空间基本用法分析
2019/06/18 PHP
js利用div背景,做一个竖线的效果。
2008/11/22 Javascript
JavaScript判断一个URL链接是否有效的实现方法
2011/10/08 Javascript
jquery插件制作教程 txtHover
2012/08/17 Javascript
纯js实现瀑布流展现照片(自动适应窗口大小)
2013/04/08 Javascript
wap手机图片滑动切换特效无css3元素js脚本编写
2014/07/28 Javascript
JavaScript插件化开发教程 (四)
2015/01/27 Javascript
jquery实现图片放大镜功能
2015/11/23 Javascript
jQuery 1.9.1源码分析系列(十五)之动画处理
2015/12/03 Javascript
Form表单按回车自动提交表单的实现方法
2016/11/18 Javascript
AngularJS服务service用法总结
2016/12/13 Javascript
使用smartupload组件实现jsp+jdbc上传下载文件实例解析
2017/01/05 Javascript
javascript内存分配原理实例分析
2017/04/10 Javascript
jQuery实现简单的抽奖游戏
2017/05/05 jQuery
javascript 判断用户有没有操作页面
2017/10/17 Javascript
对Angular中单向数据流的深入理解
2018/03/31 Javascript
Vue项目pdf(base64)转图片遇到的问题及解决方法
2018/10/19 Javascript
使用vue开发移动端管理后台的注意事项
2019/03/07 Javascript
Vue.js计算机属性computed和methods方法详解
2019/10/12 Javascript
[05:36]DOTA2 2015国际邀请赛中国区预选赛第四日TOP10
2015/05/29 DOTA
分享一个常用的Python模拟登陆类
2015/03/29 Python
在Python中操作字符串之replace()方法的使用
2015/05/19 Python
详解python实现交叉验证法与留出法
2019/07/11 Python
TensorFlow2.0矩阵与向量的加减乘实例
2020/02/07 Python
TensorFlow2.X结合OpenCV 实现手势识别功能
2020/04/08 Python
python3.9和pycharm的安装教程并创建简单项目的步骤
2021/02/03 Python
canvas绘制视频封面的方法
2018/02/05 HTML / CSS
英国家庭珠宝商:T. H. Baker
2018/02/08 全球购物
泰国最新活动和优惠:Megatix
2020/05/07 全球购物
PHP笔试题
2012/02/22 面试题
新春联欢会主持词
2014/03/24 职场文书
报告会主持词
2014/04/02 职场文书
2015年学校团委工作总结
2015/05/26 职场文书
成事在人观后感
2015/06/16 职场文书
windows安装python超详细图文教程
2021/05/21 Python