关于Pytorch的MLP模块实现方式


Posted in Python onJanuary 07, 2020

MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。

具体实现为将原先线性分类模块:

self.classifier = nn.Linear(config.hidden_size, num_labels)

替换为:

self.classifier = MLP(config.hidden_size, num_labels)

并且添加MLP模块:

class MLP(nn.Module):
    def __init__(self, input_size, common_size):
      super(MLP, self).__init__()
      self.linear = nn.Sequential(
        nn.Linear(input_size, input_size // 2),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 2, input_size // 4),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 4, common_size)
      )
 
    def forward(self, x):
      out = self.linear(x)
      return out

看一下模块结构:

mlp = MLP(1000,3)
print(mlp)

关于Pytorch的MLP模块实现方式

以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python打印斐波拉契数列实例
Jul 07 Python
python计算一个序列的平均值的方法
Jul 11 Python
独特的python循环语句
Nov 20 Python
python中日志logging模块的性能及多进程详解
Jul 18 Python
深入理解Django的自定义过滤器
Oct 17 Python
Django框架的中的setting.py文件说明详解
Oct 15 Python
python集合是否可变总结
Jun 20 Python
python如何基于redis实现ip代理池
Jan 17 Python
Python 多线程C段扫描、检测 Ping扫描脚本的实现
Sep 03 Python
Scrapy中如何向Spider传入参数的方法实现
Sep 28 Python
python 解决Windows平台上路径有空格的问题
Nov 10 Python
Jmeter调用Python脚本实现参数互相传递的实现
Jan 22 Python
PyTorch 普通卷积和空洞卷积实例
Jan 07 #Python
Pytorch中膨胀卷积的用法详解
Jan 07 #Python
Python urlopen()和urlretrieve()用法解析
Jan 07 #Python
简单了解Django ORM常用字段类型及参数配置
Jan 07 #Python
解决torch.autograd.backward中的参数问题
Jan 07 #Python
Pytorch 中retain_graph的用法详解
Jan 07 #Python
PyTorch中的Variable变量详解
Jan 07 #Python
You might like
PHP的autoload自动加载机制使用说明
2010/12/28 PHP
Laravel中log无法写入问题的解决
2017/06/17 PHP
关于laravel5.5的定时任务详解(demo)
2019/10/23 PHP
用JS剩余字数计算的代码
2008/07/03 Javascript
js几个验证函数代码
2010/03/25 Javascript
javascript 从if else 到 switch case 再到抽象
2010/07/17 Javascript
模拟jQuery ajax服务器端与客户端通信的代码
2011/03/28 Javascript
javascript自动改变文字大小和颜色的效果的小例子
2013/08/02 Javascript
JS实现一键回顶功能示例代码
2013/10/28 Javascript
Nodejs进程管理模块forever详解
2014/06/01 NodeJs
JavaScript字符串对象fromCharCode方法入门实例(用于把Unicode值转换为字符串)
2014/10/17 Javascript
javascript制作坦克大战全纪录(1)
2014/11/27 Javascript
Js和JQuery获取鼠标指针坐标的实现代码分享
2015/05/25 Javascript
JS实现的Select三级下拉菜单代码
2015/08/20 Javascript
JavaScript中三个等号和两个等号的区别(== 和 ===)浅析
2016/09/22 Javascript
基于JavaScript定位当前的地理位置
2017/04/11 Javascript
xmlplus组件设计系列之文本框(TextBox)(3)
2017/05/03 Javascript
Angular4实现鼠标悬停3d倾斜效果
2017/10/25 Javascript
json解析大全 双引号、键值对不在一起的情况
2019/12/06 Javascript
python基于multiprocessing的多进程创建方法
2015/06/04 Python
Django自定义分页效果
2017/06/27 Python
Python发送邮件测试报告操作实例详解
2018/12/08 Python
Python实现子类调用父类的初始化实例
2020/03/12 Python
python numpy库np.percentile用法说明
2020/06/08 Python
Python生成随机验证码代码实例解析
2020/06/09 Python
Scrapy项目实战之爬取某社区用户详情
2020/09/17 Python
Python定时任务框架APScheduler原理及常用代码
2020/10/05 Python
HTML5的革新 结构之美
2011/06/20 HTML / CSS
Muziker英国:中欧最大的音乐家商店
2020/02/05 全球购物
销售经理工作职责范文
2013/12/03 职场文书
消防宣传口号
2014/06/16 职场文书
孩子教育的心得体会
2014/09/01 职场文书
大学生旷课检讨书1000字
2015/02/19 职场文书
Flask搭建一个API服务器的步骤
2021/05/28 Python
JavaScript中document.activeELement焦点元素介绍
2021/11/27 Javascript
MySQL中EXPLAIN语句及用法
2022/05/20 MySQL