关于Pytorch的MLP模块实现方式


Posted in Python onJanuary 07, 2020

MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。

具体实现为将原先线性分类模块:

self.classifier = nn.Linear(config.hidden_size, num_labels)

替换为:

self.classifier = MLP(config.hidden_size, num_labels)

并且添加MLP模块:

class MLP(nn.Module):
    def __init__(self, input_size, common_size):
      super(MLP, self).__init__()
      self.linear = nn.Sequential(
        nn.Linear(input_size, input_size // 2),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 2, input_size // 4),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 4, common_size)
      )
 
    def forward(self, x):
      out = self.linear(x)
      return out

看一下模块结构:

mlp = MLP(1000,3)
print(mlp)

关于Pytorch的MLP模块实现方式

以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python判断、获取一张图片主色调的2个实例
Apr 10 Python
python进阶教程之函数参数的多种传递方法
Aug 30 Python
Python图像灰度变换及图像数组操作
Jan 27 Python
python中import reload __import__的区别详解
Oct 16 Python
无法使用pip命令安装python第三方库的原因及解决方法
Jun 12 Python
python中csv文件的若干读写方法小结
Jul 04 Python
使用python socket分发大文件的实现方法
Jul 08 Python
Python动态声明变量赋值代码实例
Dec 30 Python
Python变量、数据类型、数据类型转换相关函数用法实例详解
Jan 09 Python
Python通过zookeeper实现分布式服务代码解析
Jul 22 Python
Python爬虫抓取指定网页图片代码实例
Jul 24 Python
Python可变集合和不可变集合的构造方法大全
Dec 06 Python
PyTorch 普通卷积和空洞卷积实例
Jan 07 #Python
Pytorch中膨胀卷积的用法详解
Jan 07 #Python
Python urlopen()和urlretrieve()用法解析
Jan 07 #Python
简单了解Django ORM常用字段类型及参数配置
Jan 07 #Python
解决torch.autograd.backward中的参数问题
Jan 07 #Python
Pytorch 中retain_graph的用法详解
Jan 07 #Python
PyTorch中的Variable变量详解
Jan 07 #Python
You might like
使用PHP实现密保卡功能实现代码<打包下载直接运行>
2011/10/09 PHP
微信公众号OAuth2.0网页授权问题浅析
2017/01/21 PHP
基于jquery的cookie的用法
2011/01/10 Javascript
8个超棒的学习 jQuery 的网站 推荐收藏
2011/04/02 Javascript
javascript实现日历控件(年月日关闭按钮)
2012/12/12 Javascript
JavaScript中标识符提升问题
2015/06/11 Javascript
js中判断变量类型函数typeof的用法总结
2016/08/09 Javascript
jQuery插件FusionCharts绘制2D柱状图和折线图的组合图效果示例【附demo源码】
2017/04/10 jQuery
关于ES6箭头函数中的this问题
2018/02/27 Javascript
Mint UI组件库CheckList使用及踩坑总结
2018/12/20 Javascript
js实现的在本地预览图片功能示例
2019/11/09 Javascript
Nuxt.js的路由跳转操作(页面跳转nuxt-link)
2020/11/06 Javascript
Django集成百度富文本编辑器uEditor攻略
2014/07/04 Python
使用Python编写Linux系统守护进程实例
2015/02/03 Python
python实现感知器
2017/12/19 Python
python中使用iterrows()对dataframe进行遍历的实例
2018/06/09 Python
详解windows python3.7安装numpy问题的解决方法
2018/08/13 Python
Python功能点实现:函数级/代码块级计时器
2019/01/02 Python
对Python中的条件判断、循环以及循环的终止方法详解
2019/02/08 Python
CentOS7安装Python3的教程详解
2019/04/10 Python
python批量图片处理简单示例
2019/08/06 Python
django基于cors解决跨域请求问题详解
2019/08/06 Python
对python中的os.getpid()和os.fork()函数详解
2019/08/08 Python
决策树剪枝算法的python实现方法详解
2019/09/18 Python
在Python中利用pickle保存变量的实例
2019/12/30 Python
django有哪些好处和优点
2020/09/01 Python
python实现定时发送邮件
2020/12/23 Python
台湾菁英交友:结识黄金单身的台湾人
2018/01/22 全球购物
幼儿园开学家长寄语
2014/01/19 职场文书
2014年后备干部工作总结
2014/12/08 职场文书
公司安全管理制度范本
2015/08/05 职场文书
三八红旗手主要事迹材料
2015/11/04 职场文书
2016年社会管理综治宣传月活动总结
2016/03/16 职场文书
pandas中DataFrame检测重复值的实现
2021/05/26 Python
《模拟人生4》推出新补丁 “婚礼奇缘”DLC终于得到修复
2022/04/03 其他游戏
微信小程序 WeUI扩展组件库的入门教程
2022/04/21 Javascript