pytorch 实现模型不同层设置不同的学习率方式


Posted in Python onJanuary 06, 2020

在目标检测的模型训练中, 我们通常都会有一个特征提取网络backbone, 例如YOLO使用的darknet SSD使用的VGG-16。

为了达到比较好的训练效果, 往往会加载预训练的backbone模型参数, 然后在此基础上训练检测网络, 并对backbone进行微调, 这时候就需要为backbone设置一个较小的lr。

class net(torch.nn.Module):
  def __init__(self):
    super(net, self).__init__()
    # backbone
    self.backbone = ...
    # detect
    self....

在设置optimizer时, 只需要参数分为两个部分, 并分别给定不同的学习率lr。

base_params = list(map(id, net.backbone.parameters()))
logits_params = filter(lambda p: id(p) not in base_params, net.parameters())
params = [
  {"params": logits_params, "lr": config.lr},
  {"params": net.backbone.parameters(), "lr": config.backbone_lr},
]
optimizer = torch.optim.SGD(params, momentum=config.momentum, weight_decay=config.weight_decay)

以上这篇pytorch 实现模型不同层设置不同的学习率方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python logging模块学习笔记
May 24 Python
Python实现计算文件夹下.h和.cpp文件的总行数
Apr 23 Python
Python使用Mechanize模块编写爬虫的要点解析
Mar 31 Python
Python3.6简单操作Mysql数据库
Sep 12 Python
selenium处理元素定位点击无效问题
Jun 12 Python
使用python的pandas为你的股票绘制趋势图
Jun 26 Python
python 实现GUI(图形用户界面)编程详解
Jul 17 Python
python与mysql数据库交互的实现
Jan 06 Python
Python 实现自动获取种子磁力链接方式
Jan 16 Python
python isinstance函数用法详解
Feb 13 Python
python通过cython加密代码
Dec 11 Python
Python中三种花式打印的示例详解
Mar 19 Python
浅析Python3 pip换源问题
Jan 06 #Python
通过实例学习Python Excel操作
Jan 06 #Python
pytorch载入预训练模型后,实现训练指定层
Jan 06 #Python
python与mysql数据库交互的实现
Jan 06 #Python
win10系统下python3安装及pip换源和使用教程
Jan 06 #Python
基于python实现文件加密功能
Jan 06 #Python
Pytorch 实现冻结指定卷积层的参数
Jan 06 #Python
You might like
在php MYSQL中插入当前时间
2008/04/06 PHP
PHP递归删除目录几个代码实例
2014/04/21 PHP
PHP实现将MySQL重复ID二维数组重组为三维数组的方法
2016/08/01 PHP
PHP下用Swoole实现Actor并发模型的方法
2019/06/12 PHP
Javascript的并行运算实现代码
2010/11/19 Javascript
JavaScript flash复制库类 Zero Clipboard
2011/01/17 Javascript
jQuery判断元素是否是隐藏的代码
2011/04/24 Javascript
教你用AngularJS框架一行JS代码实现控件验证效果
2014/06/23 Javascript
Javascript基础教程之if条件语句
2015/01/18 Javascript
jQuery通过控制节点实现仅在前台通过get方法完成参数传递
2015/02/02 Javascript
JS+CSS实现的竖向简洁折叠菜单效果代码
2015/10/22 Javascript
JavaScript+html5 canvas实现本地截图教程
2020/04/16 Javascript
js判断图片加载完成后获取图片实际宽高的方法
2016/02/25 Javascript
一些实用性较高的js方法
2016/04/19 Javascript
js实现的光标位置工具函数示例
2016/10/03 Javascript
AngularJS路由Ui-router模块用法示例
2017/05/29 Javascript
Angular 4依赖注入学习教程之简介(一)
2017/06/04 Javascript
javascript  数组排序与对象排序的实例
2017/07/17 Javascript
AngularJS上传文件的示例代码
2018/11/10 Javascript
vue中的过滤器及其时间格式化问题
2020/04/09 Javascript
javascript实现雪花飘落效果
2020/08/19 Javascript
[02:01]大师之路——DOTA2完美大师赛11月论剑上海
2017/11/06 DOTA
基于Python数据可视化利器Matplotlib,绘图入门篇,Pyplot详解
2017/10/13 Python
pandas 实现将重复表格去重,并重新转换为表格的方法
2018/04/18 Python
解决Python中list里的中文输出到html模板里的问题
2018/12/17 Python
总结python中pass的作用
2019/02/27 Python
Python pip 常用命令汇总
2020/10/19 Python
HTML5实现页面切换激活的PageVisibility API使用初探
2016/05/13 HTML / CSS
HTML+CSS+JavaScript实现图片3D展览的示例代码
2020/10/12 HTML / CSS
美国羽绒床上用品第一品牌:Pacific Coast
2018/08/25 全球购物
开业主持词
2014/03/21 职场文书
私人会所最新创业计划书范文
2014/03/24 职场文书
行政求职信
2014/07/04 职场文书
科技工作者先进事迹
2014/08/16 职场文书
win10+anaconda安装yolov5的方法及问题解决方案
2021/04/29 Python
一篇文章了解正则表达式的替换技巧
2022/02/24 Javascript