浅谈Pytorch torch.optim优化器个性化的使用


Posted in Python onFebruary 20, 2020

一、简化前馈网络LeNet

import torch as t
 
 
class LeNet(t.nn.Module):
 def __init__(self):
  super(LeNet, self).__init__()
  self.features = t.nn.Sequential(
   t.nn.Conv2d(3, 6, 5),
   t.nn.ReLU(),
   t.nn.MaxPool2d(2, 2),
   t.nn.Conv2d(6, 16, 5),
   t.nn.ReLU(),
   t.nn.MaxPool2d(2, 2)
  )
  # 由于调整shape并不是一个class层,
  # 所以在涉及这种操作(非nn.Module操作)需要拆分为多个模型
  self.classifiter = t.nn.Sequential(
   t.nn.Linear(16*5*5, 120),
   t.nn.ReLU(),
   t.nn.Linear(120, 84),
   t.nn.ReLU(),
   t.nn.Linear(84, 10)
  )
 
 def forward(self, x):
  x = self.features(x)
  x = x.view(-1, 16*5*5)
  x = self.classifiter(x)
  return x
 
net = LeNet()

二、优化器基本使用方法

建立优化器实例

循环:

清空梯度

向前传播

计算Loss

反向传播

更新参数

from torch import optim
 
# 通常的step优化过程
optimizer = optim.SGD(params=net.parameters(), lr=1)
optimizer.zero_grad() # net.zero_grad()
 
input_ = t.autograd.Variable(t.randn(1, 3, 32, 32))
output = net(input_)
output.backward(output)
 
optimizer.step()

三、网络模块参数定制

为不同的子网络参数不同的学习率,finetune常用,使分类器学习率参数更高,学习速度更快(理论上)。

1.经由构建网络时划分好的模组进行学习率设定,

# # 直接对不同的网络模块制定不同学习率
optimizer = optim.SGD([{'params': net.features.parameters()}, # 默认lr是1e-5
      {'params': net.classifiter.parameters(), 'lr': 1e-2}], lr=1e-5)

2.以网络层对象为单位进行分组,并设定学习率

# # 以层为单位,为不同层指定不同的学习率
# ## 提取指定层对象
special_layers = t.nn.ModuleList([net.classifiter[0], net.classifiter[3]])
# ## 获取指定层参数id
special_layers_params = list(map(id, special_layers.parameters()))
print(special_layers_params)
# ## 获取非指定层的参数id
base_params = filter(lambda p: id(p) not in special_layers_params, net.parameters())
optimizer = t.optim.SGD([{'params': base_params},
       {'params': special_layers.parameters(), 'lr': 0.01}], lr=0.001)

四、在训练中动态的调整学习率

'''调整学习率'''
# 新建optimizer或者修改optimizer.params_groups对应的学习率
# # 新建optimizer更简单也更推荐,optimizer十分轻量级,所以开销很小
# # 但是新的优化器会初始化动量等状态信息,这对于使用动量的优化器(momentum参数的sgd)可能会造成收敛中的震荡
# ## optimizer.param_groups:长度2的list,optimizer.param_groups[0]:长度6的字典
print(optimizer.param_groups[0]['lr'])
old_lr = 0.1
optimizer = optim.SGD([{'params': net.features.parameters()},
      {'params': net.classifiter.parameters(), 'lr': old_lr*0.1}], lr=1e-5)

可以看到optimizer.param_groups结构,[{'params','lr', 'momentum', 'dampening', 'weight_decay', 'nesterov'},{……}],集合了优化器的各项参数。

重写sgd优化器

import torch
from torch.optim.optimizer import Optimizer, required

class SGD(Optimizer):
 def __init__(self, params, lr=required, momentum=0, dampening=0, weight_decay1=0, weight_decay2=0, nesterov=False):
  defaults = dict(lr=lr, momentum=momentum, dampening=dampening,
      weight_decay1=weight_decay1, weight_decay2=weight_decay2, nesterov=nesterov)
  if nesterov and (momentum <= 0 or dampening != 0):
   raise ValueError("Nesterov momentum requires a momentum and zero dampening")
  super(SGD, self).__init__(params, defaults)

 def __setstate__(self, state):
  super(SGD, self).__setstate__(state)
  for group in self.param_groups:
   group.setdefault('nesterov', False)

 def step(self, closure=None):
  """Performs a single optimization step. Arguments: closure (callable, optional): A closure that reevaluates the model and returns the loss. """
  loss = None
  if closure is not None:
   loss = closure()

  for group in self.param_groups:
   weight_decay1 = group['weight_decay1']
   weight_decay2 = group['weight_decay2']
   momentum = group['momentum']
   dampening = group['dampening']
   nesterov = group['nesterov']

   for p in group['params']:
    if p.grad is None:
     continue
    d_p = p.grad.data
    if weight_decay1 != 0:
     d_p.add_(weight_decay1, torch.sign(p.data))
    if weight_decay2 != 0:
     d_p.add_(weight_decay2, p.data)
    if momentum != 0:
     param_state = self.state[p]
     if 'momentum_buffer' not in param_state:
      buf = param_state['momentum_buffer'] = torch.zeros_like(p.data)
      buf.mul_(momentum).add_(d_p)
     else:
      buf = param_state['momentum_buffer']
      buf.mul_(momentum).add_(1 - dampening, d_p)
     if nesterov:
      d_p = d_p.add(momentum, buf)
     else:
      d_p = buf

    p.data.add_(-group['lr'], d_p)

  return loss

以上这篇浅谈Pytorch torch.optim优化器个性化的使用就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用urllib模块和pyquery实现阿里巴巴排名查询
Jan 16 Python
Python中使用strip()方法删除字符串中空格的教程
May 20 Python
Python实现控制台输入密码的方法
May 29 Python
老生常谈Python startswith()函数与endswith函数
Sep 08 Python
python中的文件打开与关闭操作命令介绍
Apr 26 Python
详解利用python+opencv识别图片中的圆形(霍夫变换)
Jul 01 Python
简单了解python变量的作用域
Jul 30 Python
Python + Flask 实现简单的验证码系统
Oct 01 Python
关于python 跨域处理方式详解
Mar 28 Python
Django配置Bootstrap, js实现过程详解
Oct 13 Python
基于PyInstaller各参数的含义说明
Mar 04 Python
4种方法python批量修改替换列表中元素
Apr 07 Python
关于torch.optim的灵活使用详解(包括重写SGD,加上L1正则)
Feb 20 #Python
Python sys模块常用方法解析
Feb 20 #Python
pytorch 实现在一个优化器中设置多个网络参数的例子
Feb 20 #Python
pytorch ImageFolder的覆写实例
Feb 20 #Python
pytorch torchvision.ImageFolder的用法介绍
Feb 20 #Python
详解python常用命令行选项与环境变量
Feb 20 #Python
用什么库写 Python 命令行程序(示例代码详解)
Feb 20 #Python
You might like
PHP源码分析之变量的存储过程分解
2014/07/03 PHP
php递归删除目录与文件的方法
2015/01/30 PHP
图文介绍PHP添加Redis模块及连接
2015/07/28 PHP
推荐一些非常不错的javascript学习资源站点
2007/08/29 Javascript
关于IE7 IE8弹出窗口顶上
2008/12/22 Javascript
JSON 客户端和服务器端的格式转换
2009/08/27 Javascript
JS在IE和FF下attachEvent,addEventListener学习笔记
2009/11/26 Javascript
js 获取服务器控件值的代码
2010/03/05 Javascript
新鲜出炉的js tips提示效果
2011/04/03 Javascript
jQuery实现为控件添加水印文字效果(附源码)
2015/12/02 Javascript
详解JavaScript中基于原型prototype的继承特性
2016/05/05 Javascript
浅析JavaScript函数的调用模式
2016/08/10 Javascript
老生常谈JavaScript 函数表达式
2016/09/01 Javascript
bootstrap table配置参数例子
2017/01/05 Javascript
微信小程序技巧之show内容展示,上传文件编码问题
2017/01/23 Javascript
JS实现复制内容到剪贴板功能
2017/02/05 Javascript
微信页面弹出键盘后iframe内容变空白的解决方案
2017/09/20 Javascript
浅谈Vue.js 组件中的v-on绑定自定义事件理解
2017/11/17 Javascript
Vue组件通信中非父子组件传值知识点总结
2019/12/05 Javascript
基于JavaScript实现猜数字游戏代码实例
2020/07/30 Javascript
JS实现4位随机验证码
2020/10/19 Javascript
如何在JavaScript中正确处理变量
2020/12/25 Javascript
python实现class对象转换成json/字典的方法
2016/03/11 Python
python2.7 json 转换日期的处理的示例
2018/03/07 Python
对python同一个文件夹里面不同.py文件的交叉引用方法详解
2018/12/15 Python
python+pyqt5实现24点小游戏
2019/01/24 Python
PyCharm 创建指定版本的 Django(超详图解教程)
2019/06/18 Python
修改Pandas的行或列的名字(重命名)
2019/12/18 Python
通俗易懂了解Python装饰器原理
2020/09/17 Python
利用CSS3实现折角效果实例源码
2016/09/28 HTML / CSS
机电专业个人自荐信格式模板
2013/09/23 职场文书
大学生党员承诺书
2014/05/20 职场文书
重阳节标语大全
2014/10/07 职场文书
个人向公司借款协议书
2014/10/09 职场文书
十大经典日本动漫排行榜 海贼王第三,犬夜叉仅第八
2022/03/18 日漫
详解Python中__new__方法的作用
2022/03/31 Python