Pytorch 中的optimizer使用说明


Posted in Python onMarch 03, 2021

与优化函数相关的部分在torch.optim模块中,其中包含了大部分现在已有的流行的优化方法。

如何使用Optimizer

要想使用optimizer,需要创建一个optimizer 对象,这个对象会保存当前状态,并根据梯度更新参数。

怎样构造Optimizer

要构造一个Optimizer,需要使用一个用来包含所有参数(Tensor形式)的iterable,把相关参数(如learning rate、weight decay等)装进去。

注意,如果想要使用.cuda()方法来将model移到GPU中,一定要确保这一步在构造Optimizer之前。因为调用.cuda()之后,model里面的参数已经不是之前的参数了。

示例代码如下:

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum = 0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

常用参数

last_epoch代表上一次的epoch的值,初始值为-1。

单独指定参数

也可以用一个dict的iterable指定参数。这里的每个dict都必须要params这个key,params包含它所属的参数列表。除此之外的key必须它的Optimizer(如SGD)里面有的参数。

You can still pass options as keyword arguments. They will be used as defaults, in the groups that didn't override them. This is useful when you only want to vary a single option, while keeping all others consistent between parameter groups.

这在针对特定部分进行操作时很有用。比如只希望给指定的几个层单独设置学习率:

optim.SGD([
  {'params': model.base.parameters()},
  {'params': model.classifier.parameters(), 'lr': 0.001}
  ],
  
  lr = 0.01, momentum = 0.9)

在上面这段代码中model.base将会使用默认学习率0.01,而model.classifier的参数蒋欢使用0.001的学习率。

怎样进行单次优化

所有optimizer都实现了step()方法,调用这个方法可以更新参数,这个方法有以下两种使用方法:

optimizer.step()

多数optimizer里都可以这么做,每次用backward()这类的方法计算出了梯度后,就可以调用一次这个方法来更新参数。

示例程序:

for input, target in dataset:
 optimizer.zero_grad()
 ouput = model(input)
 loss = loss_fn(output, target)
 loss.backward()
 optimizer.step()

optimizer.step(closure)

有些优化算法会多次重新计算函数(比如Conjugate Gradient、LBFGS),这样的话你就要使用一个闭包(closure)来支持多次计算model的操作。

这个closure的运行过程是,清除梯度,计算loss,返回loss。

(这个我不太理解,因为这些优化算法不熟悉)

示例程序:

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

优化算法

这里就不完整介绍documentation中的内容了,只介绍基类。具体的算法的参数需要理解它们的原理才能明白,这个改天单独来一篇文章介绍。

Optimizer

class torch.optim.Optimizer(params, defaults)

这是所有optimizer的基类。

注意,各参数的顺序必须保证每次运行都一致。有些数据结构就不满足这个条件,比如dictionary的iterator和set。

参数

params(iterable)是torch.Tensor或者dict的iterable。这个参数指定了需要更新的Tensor。

defaults(dict)是一个dict,它包含了默认的的优化选项。

方法

add_param_group(param_group)

这个方法的作用是增加一个参数组,在fine tuning一个预训练的网络时有用。

load_state_dict(state_dict)

这个方法的作用是加载optimizer的状态。

state_dict()

获取一个optimizer的状态(一个dict)。

zero_grad()方法用于清空梯度。

step(closure)用于进行单次更新。

Adam

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)

补充:pytorch里面的Optimizer和optimizer.step()用法

当我们想指定每一层的学习率时:

optim.SGD([
          {'params': model.base.parameters()},
          {'params': model.classifier.parameters(), 'lr': 1e-3}
        ], lr=1e-2, momentum=0.9)

这意味着model.base的参数将会使用1e-2的学习率,model.classifier的参数将会使用1e-3的学习率,并且0.9的momentum将会被用于所有的参数。

进行单次优化

所有的optimizer都实现了step()方法,这个方法会更新所有的参数。它能按两种方式来使用:

optimizer.step()

这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后,我们就可以调用这个函数。

例子

for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()
optimizer.step(closure)

一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数,因此你需要传入一个闭包去允许它们重新计算你的模型。

这个闭包应当清空梯度,计算损失,然后返回。

例子:

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
Python open()文件处理使用介绍
Nov 30 Python
Python中字典和JSON互转操作实例
Jan 19 Python
对于Python编程中一些重用与缩减的建议
Apr 14 Python
多版本Python共存的配置方法
May 22 Python
itchat接口使用示例
Oct 23 Python
基于python内置函数与匿名函数详解
Jan 09 Python
使用NumPy和pandas对CSV文件进行写操作的实例
Jun 14 Python
Python3利用Dlib实现摄像头实时人脸检测和平铺显示示例
Feb 21 Python
django框架基于queryset和双下划线的跨表查询操作详解
Dec 11 Python
sqlalchemy实现时间列自动更新教程
Sep 02 Python
详解Django自定义图片和文件上传路径(upload_to)的2种方式
Dec 01 Python
python通过opencv调用摄像头操作实例分析
Jun 07 Python
解决pytorch 的state_dict()拷贝问题
Mar 03 #Python
解决pytorch 保存模型遇到的问题
Mar 03 #Python
解决pytorch 模型复制的一些问题
Mar 03 #Python
Pytorch模型迁移和迁移学习,导入部分模型参数的操作
Mar 03 #Python
pytorch 实现L2和L1正则化regularization的操作
Mar 03 #Python
Pytorch自定义Dataset和DataLoader去除不存在和空数据的操作
Mar 03 #Python
python爬取youtube视频的示例代码
Mar 03 #Python
You might like
Windows IIS PHP 5.2 安装与配置方法
2009/06/08 PHP
PHP中使用unset销毁变量并内存释放问题
2012/07/05 PHP
基于php使用memcache存储session的详解
2013/06/25 PHP
php的hash算法介绍
2014/02/13 PHP
WordPress中缩略图的使用以及相关技巧
2015/11/24 PHP
PHP判断表达式中括号是否匹配的简单实例
2016/10/22 PHP
Laravel框架分页实现方法分析
2018/06/12 PHP
PHP 数组操作详解【遍历、指针、函数等】
2020/05/13 PHP
通过Mootools 1.2来操纵HTML DOM元素
2009/09/15 Javascript
jquery 模拟雅虎首页的点击对话框效果
2010/04/11 Javascript
Javascript 加载和执行-性能提高篇
2012/12/28 Javascript
使用JavaScript 实现对象 匀速/变速运动的方法
2013/05/08 Javascript
angularjs中的单元测试实例
2014/12/06 Javascript
浅谈JavaScript Date日期和时间对象
2014/12/29 Javascript
javascript显示中文日期的方法
2015/06/18 Javascript
JavaScript对数组进行随机重排的方法
2015/07/22 Javascript
用js编写的简单的计算器代码程序
2015/08/04 Javascript
JS实现的表格行上下移动操作示例
2016/08/03 Javascript
原生JS实现几个常用DOM操作API实例
2017/01/19 Javascript
如何使用less实现随机下雪动画详解
2019/01/02 Javascript
150行代码带你实现微信小程序中的数据侦听
2019/05/17 Javascript
Bootstrap实现省市区三级联动(亲测可用)
2019/07/26 Javascript
Vue自定义表单内容检查rules实例
2020/10/30 Javascript
[42:24]完美世界DOTA2联赛PWL S2 LBZS vs FTD.C 第三场 11.27
2020/12/01 DOTA
python sys模块sys.path使用方法示例
2013/12/04 Python
Python3.X 线程中信号量的使用方法示例
2017/07/24 Python
python实现批量修改图片格式和尺寸
2018/06/07 Python
Python谱减法语音降噪实例
2019/12/18 Python
python kafka 多线程消费者&手动提交实例
2019/12/21 Python
一文彻底解决HTML5页面中长按保存图片功能
2019/06/10 HTML / CSS
从当地商店送来的杂货:Instacart
2018/08/19 全球购物
优质美利奴羊毛袜,不只是徒步旅行:Darn Tough Vermont
2018/11/05 全球购物
光信息科学与技术专业职业生涯规划
2014/03/13 职场文书
自主招生学校推荐信范文
2015/03/26 职场文书
2016年暑期教师培训心得体会
2016/01/09 职场文书
redis 限制内存使用大小的实现
2021/05/08 Redis