基于pytorch中的Sequential用法说明


Posted in Python onJune 24, 2020

class torch.nn.Sequential(* args)

一个时序容器。Modules 会以他们传入的顺序被添加到容器中。当然,也可以传入一个OrderedDict。

为了更容易的理解如何使用Sequential, 下面给出了一个例子:

# Example of using Sequential
 
model = nn.Sequential(
     nn.Conv2d(1,20,5),
     nn.ReLU(),
     nn.Conv2d(20,64,5),
     nn.ReLU()
    )
# Example of using Sequential with OrderedDict
model = nn.Sequential(OrderedDict([
     ('conv1', nn.Conv2d(1,20,5)),
     ('relu1', nn.ReLU()),
     ('conv2', nn.Conv2d(20,64,5)),
     ('relu2', nn.ReLU())
    ]))

补充知识:pytorch 中 torch.optim.Adam 方法的使用和参数的解释

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

实现Adam算法。

它在Adam: A Method for Stochastic Optimization中被提出。

参数:

params (iterable) ? 待优化参数的iterable或者是定义了参数组的dict

lr (float, 可选) ? 学习率(默认:1e-3)

betas (Tuple[float, float], 可选) ? 用于计算梯度以及梯度平方的运行平均值的系数(默认:0.9,0.999)

eps (float, 可选) ? 为了增加数值计算的稳定性而加到分母里的项(默认:1e-8)

weight_decay (float, 可选) ? 权重衰减(L2惩罚)(默认: 0)

个人理解:

lr:同样也称为学习率或步长因子,它控制了权重的更新比率(如 0.001)。较大的值(如 0.3)在学习率更新前会有更快的初始学习,而较小的值(如 1.0E-5)会令训练收敛到更好的性能。

betas = (beta1,beta2)

beta1:一阶矩估计的指数衰减率(如 0.9)。

beta2:二阶矩估计的指数衰减率(如 0.999)。该超参数在稀疏梯度(如在 NLP 或计算机视觉任务中)中应该设置为接近 1 的数。

eps:epsilon:该参数是非常小的数,其为了防止在实现中除以零(如 10E-8)。

读者可结合官方文档中的参数说明和我的个人理解掌握该函数的用法。

以上这篇基于pytorch中的Sequential用法说明就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python切片用法实例教程
Sep 08 Python
python的类方法和静态方法
Dec 13 Python
Python中使用第三方库xlrd来读取Excel示例
Apr 05 Python
Python对象转JSON字符串的方法
Apr 27 Python
Python发送邮件功能示例【使用QQ邮箱】
Dec 04 Python
python 实现视频流下载保存MP4的方法
Jan 09 Python
pyinstaller打包opencv和numpy程序运行错误解决
Aug 16 Python
python爬虫 基于requests模块的get请求实现详解
Aug 20 Python
opencv3/C++图像像素操作详解
Dec 10 Python
django商品分类及商品数据建模实例详解
Jan 03 Python
Python flask路由间传递变量实例详解
Jun 03 Python
Python列表嵌套常见坑点及解决方案
Sep 30 Python
django haystack实现全文检索的示例代码
Jun 24 #Python
Python爬虫如何应对Cloudflare邮箱加密
Jun 24 #Python
python使用自定义钉钉机器人的示例代码
Jun 24 #Python
pytorch中的weight-initilzation用法
Jun 24 #Python
pytorch查看模型weight与grad方式
Jun 24 #Python
pytorch  网络参数 weight bias 初始化详解
Jun 24 #Python
可视化pytorch 模型中不同BN层的running mean曲线实例
Jun 24 #Python
You might like
十天学会php之第九天
2006/10/09 PHP
动易数据转成dedecms的php程序
2007/04/07 PHP
PHP json_encode中文乱码问题的解决办法
2013/09/09 PHP
PHP输出日历表代码实例
2015/03/27 PHP
文件上传之SWFUpload插件(代码)
2015/07/30 PHP
解决php扩展安装不生效问题
2019/10/25 PHP
深入认识JavaScript中的函数
2007/01/22 Javascript
Javascript 面向对象编程(一) 封装
2011/08/28 Javascript
jquery动画效果学习笔记(8种效果)
2015/11/13 Javascript
JS操作JSON方法总结(推荐)
2016/06/14 Javascript
老生常谈原生JS执行环境与作用域
2016/11/22 Javascript
轻松搞定jQuery+JSONP跨域请求的解决方案
2018/03/06 jQuery
解决vue-router中的query动态传参问题
2018/03/20 Javascript
微信小程序Echarts覆盖正常组件问题解决
2019/07/13 Javascript
在微信小程序中使用mqtt服务的方法
2019/12/13 Javascript
Vue3为什么这么快
2020/09/23 Javascript
ant design pro中可控的筛选和排序实例
2020/11/17 Javascript
vue动态合并单元格并添加小计合计功能示例
2020/11/26 Vue.js
WebPack工具运行原理及入门教程
2020/12/02 Javascript
python中合并两个文本文件并按照姓名首字母排序的例子
2014/04/25 Python
Python实现遍历windows所有窗口并输出窗口标题的方法
2015/03/13 Python
Python的Django框架中的Context使用
2015/07/15 Python
Python文件时间操作步骤代码详解
2020/04/13 Python
python实现俄罗斯方块小游戏
2020/04/24 Python
基于Python绘制美观动态圆环图、饼图
2020/06/03 Python
一加手机美国官方网站:OnePlus美国
2019/09/19 全球购物
枚举与#define宏的区别
2014/04/30 面试题
电焊工工作岗位职责
2014/02/06 职场文书
个人租房协议书
2014/04/09 职场文书
实习生评语
2014/04/26 职场文书
2014年司法所工作总结
2014/11/22 职场文书
学生逃课万能检讨书2000字
2015/02/17 职场文书
2015年政教主任工作总结
2015/07/23 职场文书
小学主题班会教案
2015/08/17 职场文书
postgresql使用filter进行多维度聚合的解决方法
2021/07/16 PostgreSQL
实现一个简单得数据响应系统
2021/11/11 Javascript