基于pytorch中的Sequential用法说明


Posted in Python onJune 24, 2020

class torch.nn.Sequential(* args)

一个时序容器。Modules 会以他们传入的顺序被添加到容器中。当然,也可以传入一个OrderedDict。

为了更容易的理解如何使用Sequential, 下面给出了一个例子:

# Example of using Sequential
 
model = nn.Sequential(
     nn.Conv2d(1,20,5),
     nn.ReLU(),
     nn.Conv2d(20,64,5),
     nn.ReLU()
    )
# Example of using Sequential with OrderedDict
model = nn.Sequential(OrderedDict([
     ('conv1', nn.Conv2d(1,20,5)),
     ('relu1', nn.ReLU()),
     ('conv2', nn.Conv2d(20,64,5)),
     ('relu2', nn.ReLU())
    ]))

补充知识:pytorch 中 torch.optim.Adam 方法的使用和参数的解释

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

实现Adam算法。

它在Adam: A Method for Stochastic Optimization中被提出。

参数:

params (iterable) ? 待优化参数的iterable或者是定义了参数组的dict

lr (float, 可选) ? 学习率(默认:1e-3)

betas (Tuple[float, float], 可选) ? 用于计算梯度以及梯度平方的运行平均值的系数(默认:0.9,0.999)

eps (float, 可选) ? 为了增加数值计算的稳定性而加到分母里的项(默认:1e-8)

weight_decay (float, 可选) ? 权重衰减(L2惩罚)(默认: 0)

个人理解:

lr:同样也称为学习率或步长因子,它控制了权重的更新比率(如 0.001)。较大的值(如 0.3)在学习率更新前会有更快的初始学习,而较小的值(如 1.0E-5)会令训练收敛到更好的性能。

betas = (beta1,beta2)

beta1:一阶矩估计的指数衰减率(如 0.9)。

beta2:二阶矩估计的指数衰减率(如 0.999)。该超参数在稀疏梯度(如在 NLP 或计算机视觉任务中)中应该设置为接近 1 的数。

eps:epsilon:该参数是非常小的数,其为了防止在实现中除以零(如 10E-8)。

读者可结合官方文档中的参数说明和我的个人理解掌握该函数的用法。

以上这篇基于pytorch中的Sequential用法说明就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
理解Python中的类与实例
Apr 27 Python
在Python程序中实现分布式进程的教程
Apr 28 Python
Python实现拷贝多个文件到同一目录的方法
Sep 19 Python
python爬取亚马逊书籍信息代码分享
Dec 09 Python
图文详解python安装Scrapy框架步骤
May 20 Python
把JSON数据格式转换为Python的类对象方法详解(两种方法)
Jun 04 Python
Python学习笔记之文件的读写操作实例分析
Aug 07 Python
Python 日期区间处理 (本周本月上周上月...)
Aug 08 Python
浅谈Django2.0 加xadmin踩的坑
Nov 15 Python
wxPython之wx.DC绘制形状
Nov 19 Python
Python 日期的转换及计算的具体使用详解
Jan 16 Python
利用Python第三方库实现预测NBA比赛结果
Jun 21 Python
django haystack实现全文检索的示例代码
Jun 24 #Python
Python爬虫如何应对Cloudflare邮箱加密
Jun 24 #Python
python使用自定义钉钉机器人的示例代码
Jun 24 #Python
pytorch中的weight-initilzation用法
Jun 24 #Python
pytorch查看模型weight与grad方式
Jun 24 #Python
pytorch  网络参数 weight bias 初始化详解
Jun 24 #Python
可视化pytorch 模型中不同BN层的running mean曲线实例
Jun 24 #Python
You might like
POST一个JSON格式的数据给Restful服务实例详解
2017/04/07 PHP
PHP中OpenSSL加密问题整理
2017/12/14 PHP
JavaScript 学习笔记(九)call和apply方法
2010/01/11 Javascript
JavaScript实现快速排序(自已编写)
2012/12/19 Javascript
解决js中window.open弹出的是上次的缓存页面问题
2013/12/29 Javascript
从数据库读取数据后将其输出成html标签的三种方法
2014/10/13 Javascript
jQuery+css实现百度百科的页面导航效果
2014/12/16 Javascript
jQuery DOM删除节点操作指南
2015/03/03 Javascript
jQuery实现拖拽效果插件的方法
2015/03/23 Javascript
jQuery实现网页抖动的菜单抖动效果
2015/08/07 Javascript
快速学习jQuery插件 jquery.validate.js表单验证插件使用方法
2015/12/01 Javascript
javascript中闭包(Closure)详解
2016/01/06 Javascript
JS中对数组元素进行增删改移的方法总结
2016/12/15 Javascript
jQuery模拟窗口抖动效果
2017/03/15 Javascript
Webpack中css-loader和less-loader的使用教程
2017/04/27 Javascript
express框架下使用session的方法
2019/07/31 Javascript
解决vue打包报错Unexpected token: punc的问题
2020/10/24 Javascript
vue data有值,但是页面{{}} 取不到值的解决
2020/11/09 Javascript
[44:43]完美世界DOTA2联赛决赛日 FTD vs GXR 第一场 11.08
2020/11/11 DOTA
浅析Python中的for 循环
2016/06/09 Python
python字符串str和字节数组相互转化方法
2017/03/18 Python
Python3中详解fabfile的编写
2018/06/24 Python
Python日期时间Time模块实例详解
2019/04/15 Python
python入门:argparse浅析 nargs='+'作用
2020/07/12 Python
python实现邮件循环自动发件功能
2020/09/11 Python
python如何用matplotlib创建三维图表
2021/01/26 Python
解析html5 canvas实现背景鼠标连线动态效果代码
2019/06/17 HTML / CSS
King Apparel官网:英国街头服饰品牌
2019/09/05 全球购物
简述网络文件系统NFS,并说明其作用
2016/10/19 面试题
班长自荐书范文
2014/02/11 职场文书
战友聚会策划方案
2014/06/13 职场文书
大学毕业生自我评价
2015/03/02 职场文书
2015年体育部工作总结
2015/04/02 职场文书
2020年元旦祝福语录,总有适合你的
2019/12/31 职场文书
Unity连接MySQL并读取表格数据的实现代码
2021/06/20 MySQL
webpack介绍使用配置教程详解webpack介绍和使用
2022/06/25 Javascript