关于Pytorch的MLP模块实现方式


Posted in Python onJanuary 07, 2020

MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。

具体实现为将原先线性分类模块:

self.classifier = nn.Linear(config.hidden_size, num_labels)

替换为:

self.classifier = MLP(config.hidden_size, num_labels)

并且添加MLP模块:

class MLP(nn.Module):
    def __init__(self, input_size, common_size):
      super(MLP, self).__init__()
      self.linear = nn.Sequential(
        nn.Linear(input_size, input_size // 2),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 2, input_size // 4),
        nn.ReLU(inplace=True),
        nn.Linear(input_size // 4, common_size)
      )
 
    def forward(self, x):
      out = self.linear(x)
      return out

看一下模块结构:

mlp = MLP(1000,3)
print(mlp)

关于Pytorch的MLP模块实现方式

以上这篇关于Pytorch的MLP模块实现方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 执行字符串表达式函数(eval exec execfile)
Aug 11 Python
Python脚本文件打包成可执行文件的方法
Jun 02 Python
python去除空格和换行符的实现方法(推荐)
Jan 04 Python
Django卸载之后重新安装的方法
Mar 15 Python
python交互式图形编程实例(一)
Nov 17 Python
python中的随机函数小结
Jan 27 Python
selenium+python设置爬虫代理IP的方法
Nov 29 Python
解决Python内层for循环如何break出外层的循环的问题
Jun 24 Python
Win10用vscode打开anaconda环境中的python出错问题的解决
May 25 Python
Python高阶函数与装饰器函数的深入讲解
Nov 10 Python
Python 使用SFTP和FTP实现对服务器的文件下载功能
Dec 17 Python
pytorch中index_select()的用法详解
Jan 06 Python
PyTorch 普通卷积和空洞卷积实例
Jan 07 #Python
Pytorch中膨胀卷积的用法详解
Jan 07 #Python
Python urlopen()和urlretrieve()用法解析
Jan 07 #Python
简单了解Django ORM常用字段类型及参数配置
Jan 07 #Python
解决torch.autograd.backward中的参数问题
Jan 07 #Python
Pytorch 中retain_graph的用法详解
Jan 07 #Python
PyTorch中的Variable变量详解
Jan 07 #Python
You might like
php实现rc4加密算法代码
2012/04/25 PHP
php连接oracle数据库及查询数据的方法
2014/12/29 PHP
Java中final关键字详解
2015/08/10 PHP
PHP Ajax JavaScript Json获取天气信息实现代码
2016/08/17 PHP
详解PHP文件的自动加载(autoloading)
2018/02/04 PHP
PHP8.0新功能之Match表达式的使用
2020/07/19 PHP
mysql输出数据赋给js变量报unterminated string literal错误原因
2010/05/22 Javascript
JS过滤url参数特殊字符的实现方法
2013/12/24 Javascript
js限制input标签中只能输入中文
2015/06/26 Javascript
JavaScript 七大技巧(一)
2015/12/13 Javascript
JS打印组合功能
2016/08/04 Javascript
利用JS判断鼠标移入元素的方向
2016/12/11 Javascript
javascript-解决mongoose数据查询的异步操作
2016/12/22 Javascript
jQuery+ajax的资源回收处理机制分析
2017/01/07 Javascript
创建Vue项目以及引入Iview的方法示例
2018/12/03 Javascript
VeeValidate 的使用场景以及配置详解
2019/01/11 Javascript
通过vue刷新左侧菜单栏操作
2020/08/06 Javascript
Vue实现导航栏菜单
2020/08/19 Javascript
在Python的Django框架中编写错误提示页面
2015/07/22 Python
Python实现模拟分割大文件及多线程处理的方法
2017/10/10 Python
Python实现获取前100组勾股数的方法示例
2018/05/04 Python
对Python中list的倒序索引和切片实例讲解
2018/11/15 Python
python获取服务器响应cookie的实例
2018/12/28 Python
python gensim使用word2vec词向量处理中文语料的方法
2019/07/05 Python
Django REST Framework之频率限制的使用
2019/09/29 Python
python产生模拟数据faker库的使用详解
2020/11/04 Python
html5自带表单验证体验优化及提示气泡修改功能
2017/09/12 HTML / CSS
Foot Locker英国官网:美国知名运动产品零售商
2019/02/21 全球购物
英文版区域经理求职信
2013/10/23 职场文书
幼儿师范毕业生自荐信
2013/11/09 职场文书
司机岗位职责
2013/11/15 职场文书
开办大学饮食联盟创业计划书
2014/01/29 职场文书
2014年党员公开承诺书范文
2014/03/28 职场文书
企业培训简报范文
2015/07/20 职场文书
如何用JavaScript学习算法复杂度
2021/04/30 Javascript
html解决浏览器记住密码输入框的问题
2023/05/07 HTML / CSS