关于Pytorch的MLP模块实现方式


Posted in Python onJanuary 07, 2020

MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。

具体实现为将原先线性分类模块:

self.classifier = nn.Linear(config.hidden_size, num_labels)

替换为:

self.classifier = MLP(config.hidden_size, num_labels)

并且添加MLP模块:

class MLP(nn.Module):
    def __init__(self, input_size, common_size):
      super(MLP, self).__init__()
      self.linear = nn.Sequential(
        nn.Linear(input_size, input_size // 2),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 2, input_size // 4),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 4, common_size)
      )
 
    def forward(self, x):
      out = self.linear(x)
      return out

看一下模块结构:

mlp = MLP(1000,3)
print(mlp)

关于Pytorch的MLP模块实现方式

以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python创建列表并给列表赋初始值的方法
Jul 28 Python
python3读取MySQL-Front的MYSQL密码
May 03 Python
人工智能最火编程语言 Python大战Java!
Nov 13 Python
浅谈Django学习migrate和makemigrations的差别
Jan 18 Python
Python使用numpy模块创建数组操作示例
Jun 20 Python
python中字符串内置函数的用法总结
Sep 13 Python
使用OpenCV-python3实现滑动条更新图像的Canny边缘检测功能
Dec 12 Python
简单介绍django提供的加密算法
Dec 18 Python
python3连接mysql获取ansible动态inventory脚本
Jan 19 Python
pytorch数据预处理错误的解决
Feb 20 Python
python空元组在all中返回结果详解
Dec 15 Python
史上最详细的Python打包成exe文件教程
Jan 17 Python
PyTorch 普通卷积和空洞卷积实例
Jan 07 #Python
Pytorch中膨胀卷积的用法详解
Jan 07 #Python
Python urlopen()和urlretrieve()用法解析
Jan 07 #Python
简单了解Django ORM常用字段类型及参数配置
Jan 07 #Python
解决torch.autograd.backward中的参数问题
Jan 07 #Python
Pytorch 中retain_graph的用法详解
Jan 07 #Python
PyTorch中的Variable变量详解
Jan 07 #Python
You might like
php学习笔记 PHP面向对象的程序设计
2011/06/13 PHP
PHP中time(),date(),mktime()区别介绍
2013/09/28 PHP
ThinkPHP添加更新标签的方法
2014/12/05 PHP
PHP入门教程之正则表达式基本用法实例详解(正则匹配,搜索,分割等)
2016/09/11 PHP
php监测数据是否成功插入到Mysql数据库的方法
2016/11/25 PHP
php查询及多条件查询
2017/02/26 PHP
php中用unset销毁变量并释放内存
2020/05/10 PHP
Js 获取HTML DOM节点元素的方法小结
2009/04/24 Javascript
javascript实现数字验证码的简单实例
2014/02/10 Javascript
js 判断浏览器使用的语言示例代码
2014/03/22 Javascript
jQuery模拟点击A标记示例参考
2014/04/17 Javascript
Javascript this 关键字 详解
2014/10/22 Javascript
JQuery的ON()方法支持的所有事件罗列
2015/02/28 Javascript
详解JavaScript的表达式与运算符
2015/11/30 Javascript
node模块机制与异步处理详解
2016/03/13 Javascript
AngularJS 视图详解及示例代码
2016/08/17 Javascript
JavaScript 随机验证码的生成实例代码
2016/09/22 Javascript
jQuery Ajax前后端使用JSON进行交互示例
2017/03/17 Javascript
node.js 核心http模块,起一个服务器,返回一个页面的实例
2017/09/11 Javascript
关于Vue源码vm.$watch()内部原理详解
2019/04/26 Javascript
vue+vant使用图片预览功能ImagePreview的问题解决
2020/04/10 Javascript
vue项目查看vue版本及cli版本的实现方式
2020/10/24 Javascript
Python实现的Google IP 可用性检测脚本
2015/04/23 Python
Python获取任意xml节点值的方法
2015/05/05 Python
详解K-means算法在Python中的实现
2017/12/05 Python
python 编写简单网页服务器的实例
2018/06/01 Python
numpy库与pandas库axis=0,axis= 1轴的用法详解
2019/05/27 Python
在 Python 中接管键盘中断信号的实现方法
2020/02/04 Python
Python 找出出现次数超过数组长度一半的元素实例
2020/05/11 Python
windows支持哪个版本的python
2020/07/03 Python
亚马逊印度站:Amazon.in
2017/10/15 全球购物
武汉世纪畅想数字传播有限公司 .NET笔试题
2015/06/13 面试题
预备党员政审材料
2014/02/04 职场文书
经典公益广告词
2014/03/13 职场文书
小学母亲节活动总结
2015/02/10 职场文书
分享7个 Python 实战项目练习
2022/03/03 Python