pytorch 实现模型不同层设置不同的学习率方式


Posted in Python onJanuary 06, 2020

在目标检测的模型训练中, 我们通常都会有一个特征提取网络backbone, 例如YOLO使用的darknet SSD使用的VGG-16。

为了达到比较好的训练效果, 往往会加载预训练的backbone模型参数, 然后在此基础上训练检测网络, 并对backbone进行微调, 这时候就需要为backbone设置一个较小的lr。

class net(torch.nn.Module):
  def __init__(self):
    super(net, self).__init__()
    # backbone
    self.backbone = ...
    # detect
    self....

在设置optimizer时, 只需要参数分为两个部分, 并分别给定不同的学习率lr。

base_params = list(map(id, net.backbone.parameters()))
logits_params = filter(lambda p: id(p) not in base_params, net.parameters())
params = [
  {"params": logits_params, "lr": config.lr},
  {"params": net.backbone.parameters(), "lr": config.backbone_lr},
]
optimizer = torch.optim.SGD(params, momentum=config.momentum, weight_decay=config.weight_decay)

以上这篇pytorch 实现模型不同层设置不同的学习率方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现拼接多张图片的方法
Dec 01 Python
Python命令启动Web服务器实例详解
Feb 23 Python
浅谈numpy中linspace的用法 (等差数列创建函数)
Jun 07 Python
python3实现UDP协议的服务器和客户端
Jun 14 Python
使用C++扩展Python的功能详解
Jan 12 Python
使用python批量读取word文档并整理关键信息到excel表格的实例
Nov 07 Python
python 定义n个变量方法 (变量声明自动化)
Nov 10 Python
对python 合并 累加两个dict的实例详解
Jan 21 Python
Tensorflow模型实现预测或识别单张图片
Jul 19 Python
Python 处理文件的几种方式
Aug 23 Python
python入门之井字棋小游戏
Mar 05 Python
python实现图像随机裁剪的示例代码
Dec 10 Python
浅析Python3 pip换源问题
Jan 06 #Python
通过实例学习Python Excel操作
Jan 06 #Python
pytorch载入预训练模型后,实现训练指定层
Jan 06 #Python
python与mysql数据库交互的实现
Jan 06 #Python
win10系统下python3安装及pip换源和使用教程
Jan 06 #Python
基于python实现文件加密功能
Jan 06 #Python
Pytorch 实现冻结指定卷积层的参数
Jan 06 #Python
You might like
PHP 如何利用phpexcel导入数据库
2013/08/24 PHP
php堆排序(heapsort)练习
2013/11/13 PHP
分享常见的几种页面静态化的方法
2015/01/08 PHP
php上传功能集后缀名判断和随机命名(强力推荐)
2015/09/10 PHP
[原创]php实现子字符串位置相互对调互换的方法
2016/06/02 PHP
PHP url的pathinfo模式加载不同控制器的简单实现
2016/08/12 PHP
PHP基于PDO扩展操作mysql数据库示例
2018/12/24 PHP
jquery CSS选择器笔记
2010/03/29 Javascript
js Math 对象的方法
2013/09/01 Javascript
用队列模拟jquery的动画算法实例
2015/01/20 Javascript
分享15个大家都熟知的jquery小技巧
2015/12/02 Javascript
纯JavaScript基于notie.js插件实现消息提示特效
2016/01/18 Javascript
jQuery基于函数重载实现自定义Alert函数样式的方法
2016/07/27 Javascript
jQuery常见面试题之DOM操作详析
2017/07/05 jQuery
vue 弹框产生的滚动穿透问题的解决
2018/09/21 Javascript
js html实现计算器功能
2018/11/13 Javascript
vue+iview/elementUi实现城市多选
2019/03/28 Javascript
JavaScript实现京东放大镜效果
2019/12/03 Javascript
JS求解两数之和算法详解
2020/04/28 Javascript
Node.js文本文件BOM头的去除方法
2020/11/22 Javascript
[02:02]2018DOTA2亚洲邀请赛Mineski赛前采访
2018/04/04 DOTA
实现python版本的按任意键继续/退出
2016/09/26 Python
python xml.etree.ElementTree遍历xml所有节点实例详解
2016/12/04 Python
python生成二维码的实例详解
2017/10/29 Python
Python生成验证码、计算具体日期是一年中的第几天实例代码详解
2019/10/16 Python
python使用OpenCV模块实现图像的融合示例代码
2020/04/10 Python
协程Python 中实现多任务耗资源最小的方式
2020/10/19 Python
用python计算文件的MD5值
2020/12/23 Python
分享一个页面平滑滚动小技巧(推荐)
2019/10/23 HTML / CSS
Html5 页面适配iPhoneX(就是那么简单)
2019/09/05 HTML / CSS
AmazeUI 等分网格的实现示例
2020/08/25 HTML / CSS
农民工工资承诺书范文
2014/03/31 职场文书
亮剑精神演讲稿
2014/05/23 职场文书
涉密人员保密承诺书
2014/05/28 职场文书
某某店铺的开业庆典主持词范本
2019/11/25 职场文书
python字符串的多行输出的实例详解
2021/06/08 Python