关于Pytorch的MLP模块实现方式


Posted in Python onJanuary 07, 2020

MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。

具体实现为将原先线性分类模块:

self.classifier = nn.Linear(config.hidden_size, num_labels)

替换为:

self.classifier = MLP(config.hidden_size, num_labels)

并且添加MLP模块:

class MLP(nn.Module):
    def __init__(self, input_size, common_size):
      super(MLP, self).__init__()
      self.linear = nn.Sequential(
        nn.Linear(input_size, input_size // 2),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 2, input_size // 4),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 4, common_size)
      )
 
    def forward(self, x):
      out = self.linear(x)
      return out

看一下模块结构:

mlp = MLP(1000,3)
print(mlp)

关于Pytorch的MLP模块实现方式

以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python写个小监控
Jan 27 Python
python&MongoDB爬取图书馆借阅记录
Feb 05 Python
django数据库migrate失败的解决方法解析
Feb 08 Python
Python使用jsonpath-rw模块处理Json对象操作示例
Jul 31 Python
基于python的Paxos算法实现
Jul 03 Python
如何利用Python模拟GitHub登录详解
Jul 15 Python
Django缓存系统实现过程解析
Aug 02 Python
opencv调整图像亮度对比度的示例代码
Sep 27 Python
python FTP批量下载/删除/上传实例
Dec 22 Python
Python 时间戳之获取整点凌晨时间戳的操作方法
Jan 28 Python
python程序文件扩展名知识点详解
Feb 27 Python
python 6种方法实现单例模式
Dec 15 Python
PyTorch 普通卷积和空洞卷积实例
Jan 07 #Python
Pytorch中膨胀卷积的用法详解
Jan 07 #Python
Python urlopen()和urlretrieve()用法解析
Jan 07 #Python
简单了解Django ORM常用字段类型及参数配置
Jan 07 #Python
解决torch.autograd.backward中的参数问题
Jan 07 #Python
Pytorch 中retain_graph的用法详解
Jan 07 #Python
PyTorch中的Variable变量详解
Jan 07 #Python
You might like
IIS php环境配置PHP5 MySQL5 ZendOptimizer phpmyadmin安装与配置
2008/11/18 PHP
PHP 日期时间函数的高级应用技巧
2009/10/10 PHP
PHP字符过滤函数去除字符串最后一个逗号(rtrim)
2013/03/26 PHP
php相对当前文件include其它文件的方法
2015/03/13 PHP
基于ThinkPHP实现批量删除
2015/12/18 PHP
详解PHP执行定时任务的实现思路
2015/12/21 PHP
php图片添加文字水印实现代码
2016/03/15 PHP
php实现图片按比例截取的方法
2017/02/06 PHP
源码分析 Laravel 重复执行同一个队列任务的原因
2017/12/25 PHP
番茄的表单验证类代码修改版
2008/07/18 Javascript
js 颜色选择器(兼容firefox)
2009/03/05 Javascript
jQuery 入门级学习笔记及源码
2010/01/22 Javascript
js 可拖动列表实现代码
2011/12/13 Javascript
uploadify在Firefox下丢失session问题的解决方法
2013/08/07 Javascript
JavaScript通过join函数连接数组里所有元素的方法
2015/03/20 Javascript
详细解读JavaScript编程中的Promise使用
2015/07/27 Javascript
基于jquery实现动态竖向柱状条特效
2016/02/12 Javascript
js实现无缝循环滚动
2020/06/23 Javascript
Bootstrap Table从服务器加载数据进行显示的实现方法
2016/09/29 Javascript
微信小程序Server端环境配置详解(SSL, Nginx HTTPS,TLS 1.2 升级)
2017/01/12 Javascript
基于react后端渲染模板引擎noox发布使用
2018/01/11 Javascript
Vue实现textarea固定输入行数与添加下划线样式的思路详解
2018/06/28 Javascript
Vue 重置组件到初始状态的方法示例
2018/10/10 Javascript
vue-cli中使用高德地图的方法示例
2019/03/28 Javascript
解决vue init webpack 下载依赖卡住不动的问题
2020/11/09 Javascript
Python cookbook(数据结构与算法)将多个映射合并为单个映射的方法
2018/04/19 Python
pyqt5的QComboBox 使用模板的具体方法
2018/09/06 Python
python实现简单的单变量线性回归方法
2018/11/08 Python
Python Numpy库常见用法入门教程
2020/01/16 Python
python爬虫可以爬什么
2020/06/16 Python
CSS3条纹背景制作的实战攻略
2016/05/31 HTML / CSS
html5摇一摇代码优化包括DeviceMotionEvent等等
2014/09/01 HTML / CSS
报关员个人职业生涯规划书
2014/03/12 职场文书
高中竞选班长演讲稿
2014/04/24 职场文书
爱国电影观后感
2015/06/19 职场文书
Python爬虫之爬取某文库文档数据
2021/04/21 Python