基于pytorch中的Sequential用法说明


Posted in Python onJune 24, 2020

class torch.nn.Sequential(* args)

一个时序容器。Modules 会以他们传入的顺序被添加到容器中。当然,也可以传入一个OrderedDict。

为了更容易的理解如何使用Sequential, 下面给出了一个例子:

# Example of using Sequential
 
model = nn.Sequential(
     nn.Conv2d(1,20,5),
     nn.ReLU(),
     nn.Conv2d(20,64,5),
     nn.ReLU()
    )
# Example of using Sequential with OrderedDict
model = nn.Sequential(OrderedDict([
     ('conv1', nn.Conv2d(1,20,5)),
     ('relu1', nn.ReLU()),
     ('conv2', nn.Conv2d(20,64,5)),
     ('relu2', nn.ReLU())
    ]))

补充知识:pytorch 中 torch.optim.Adam 方法的使用和参数的解释

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

实现Adam算法。

它在Adam: A Method for Stochastic Optimization中被提出。

参数:

params (iterable) ? 待优化参数的iterable或者是定义了参数组的dict

lr (float, 可选) ? 学习率(默认:1e-3)

betas (Tuple[float, float], 可选) ? 用于计算梯度以及梯度平方的运行平均值的系数(默认:0.9,0.999)

eps (float, 可选) ? 为了增加数值计算的稳定性而加到分母里的项(默认:1e-8)

weight_decay (float, 可选) ? 权重衰减(L2惩罚)(默认: 0)

个人理解:

lr:同样也称为学习率或步长因子,它控制了权重的更新比率(如 0.001)。较大的值(如 0.3)在学习率更新前会有更快的初始学习,而较小的值(如 1.0E-5)会令训练收敛到更好的性能。

betas = (beta1,beta2)

beta1:一阶矩估计的指数衰减率(如 0.9)。

beta2:二阶矩估计的指数衰减率(如 0.999)。该超参数在稀疏梯度(如在 NLP 或计算机视觉任务中)中应该设置为接近 1 的数。

eps:epsilon:该参数是非常小的数,其为了防止在实现中除以零(如 10E-8)。

读者可结合官方文档中的参数说明和我的个人理解掌握该函数的用法。

以上这篇基于pytorch中的Sequential用法说明就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
wxPython框架类和面板类的使用实例
Sep 28 Python
零基础写python爬虫之爬虫框架Scrapy安装配置
Nov 06 Python
Python脚本实现DNSPod DNS动态解析域名
Feb 14 Python
Python的Flask开发框架简单上手笔记
Nov 16 Python
如何处理Python3.4 使用pymssql 乱码问题
Jan 08 Python
使用Python的Flask框架表单插件Flask-WTF实现Web登录验证
Jul 12 Python
python中关于for循环的碎碎念
Jun 30 Python
django 在原有表格添加或删除字段的实例
May 27 Python
Python采集猫眼两万条数据 对《无名之辈》影评进行分析
Dec 05 Python
python的sys.path模块路径添加方式
Mar 09 Python
利用python生成照片墙的示例代码
Apr 09 Python
python实现跨年表白神器--你值得拥有
Jan 04 Python
django haystack实现全文检索的示例代码
Jun 24 #Python
Python爬虫如何应对Cloudflare邮箱加密
Jun 24 #Python
python使用自定义钉钉机器人的示例代码
Jun 24 #Python
pytorch中的weight-initilzation用法
Jun 24 #Python
pytorch查看模型weight与grad方式
Jun 24 #Python
pytorch  网络参数 weight bias 初始化详解
Jun 24 #Python
可视化pytorch 模型中不同BN层的running mean曲线实例
Jun 24 #Python
You might like
最新最全PHP生成制作验证码代码详解(推荐)
2016/06/12 PHP
PHP静态方法和静态属性及常量属性的区别与介绍
2019/03/22 PHP
Thinkphp 框架扩展之行为扩展原理与实现方法分析
2020/04/23 PHP
javascript String 对象
2008/04/25 Javascript
理解Javascript_09_Function与Object
2010/10/16 Javascript
jQuery 源码分析笔记(6) jQuery.data
2011/06/08 Javascript
JavaScript中检测变量是否存在遇到的一些问题
2013/11/11 Javascript
JavaScript不刷新实现浏览器的前进后退功能
2014/11/05 Javascript
javascript表单验证和Window详解
2014/12/11 Javascript
js实现支持手机滑动切换的轮播图片效果实例
2015/04/29 Javascript
javascript实现简单加载随机色方块
2015/12/25 Javascript
AngularJs验证重复密码的方法(两种)
2016/11/25 Javascript
jquery中each循环的简单回滚操作
2017/05/05 jQuery
Vue2.0 多 Tab切换组件的封装实例
2017/07/28 Javascript
React diff算法的实现示例
2018/04/20 Javascript
webstorm添加*.vue文件支持
2018/05/08 Javascript
浅析Vue 生命周期
2018/06/21 Javascript
Angular7创建项目、组件、服务以及服务的使用
2019/02/19 Javascript
使用Vue实现简单计算器
2020/02/25 Javascript
单线程JavaScript实现异步过程详解
2020/05/19 Javascript
vue项目在线上服务器访问失败原因分析
2020/08/14 Javascript
jQuery实现计算器功能
2020/10/19 jQuery
[06:30]DOTA2英雄梦之声_第15期_死亡先知
2014/06/21 DOTA
[00:12]2018DOTA2亚洲邀请赛 Somnus丶M出阵单挑
2018/04/06 DOTA
详解Python Socket网络编程
2016/01/05 Python
Python如何基于selenium实现自动登录博客园
2019/12/16 Python
利用python生成照片墙的示例代码
2020/04/09 Python
Python爬虫入门有哪些基础知识点
2020/06/02 Python
深入浅析python 中的self和cls的区别
2020/06/20 Python
Python使用内置函数setattr设置对象的属性值
2020/10/16 Python
Agoda香港:全球特价酒店预订
2017/05/07 全球购物
Dr.Jart+美国官网:韩国药妆品牌
2019/01/18 全球购物
党员批评与自我批评总结
2014/10/15 职场文书
公司保洁员管理制度
2015/08/04 职场文书
nginx优化的六点方法
2021/03/31 Servers
Mysql 8.x 创建用户以及授予权限的操作记录
2022/04/18 MySQL