PyTorch中常用的激活函数的方法示例


Posted in Python onAugust 20, 2019

神经网络只是由两个或多个线性网络层叠加,并不能学到新的东西,简单地堆叠网络层,不经过非线性激活函数激活,学到的仍然是线性关系。

但是加入激活函数可以学到非线性的关系,就具有更强的能力去进行特征提取。

构造数据

import torch
import torch.nn.functional as F
from torch.autograd import Variable

import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, 200)  # 构造一段连续的数据
x = Variable(x)	 # 转换成张量
x_np = x.data.numpy()	# 换成 numpy array, 出图时用

Relu

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Sigmoid

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Tanh

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Softplus

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用装饰器和线程限制函数执行时间的方法
Apr 18 Python
python使用pil生成图片验证码的方法
May 08 Python
qpython3 读取安卓lastpass Cookies
Jun 19 Python
利用python获取Ping结果示例代码
Jul 06 Python
PyQt5实现无边框窗口的标题拖动和窗口缩放
Apr 19 Python
Python实现的KMeans聚类算法实例分析
Dec 29 Python
详解python校验SQL脚本命名规则
Mar 22 Python
pyqt5对用qt designer设计的窗体实现弹出子窗口的示例
Jun 19 Python
Pandas库之DataFrame使用的学习笔记
Jun 21 Python
使用django的ORM框架按月统计近一年内的数据方法
Jul 18 Python
pytorch 实现模型不同层设置不同的学习率方式
Jan 06 Python
利用pipenv和pyenv管理多个相互独立的Python虚拟开发环境
Nov 01 Python
Pytorch抽取网络层的Feature Map(Vgg)实例
Aug 20 #Python
python批量解压zip文件的方法
Aug 20 #Python
pytorch获取vgg16-feature层输出的例子
Aug 20 #Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 #Python
Python实现某论坛自动签到功能
Aug 20 #Python
python函数的作用域及关键字详解
Aug 20 #Python
pytorch 可视化feature map的示例代码
Aug 20 #Python
You might like
php基础知识:类与对象(3) 构造函数和析构函数
2006/12/13 PHP
PHP Curl多线程原理实例详解
2013/11/06 PHP
php的array数组和使用实例简明教程(容易理解)
2014/03/20 PHP
php中json_encode UTF-8中文乱码的更好解决方法
2014/09/28 PHP
PhpStorm的使用教程(本地运行PHP+远程开发+快捷键)
2020/03/26 PHP
jQuery Ajax之$.get()方法和$.post()方法
2009/10/12 Javascript
js自动生成的元素与页面原有元素发生堆叠的解决方法
2013/10/24 Javascript
开发中可能会用到的jQuery小技巧
2014/03/07 Javascript
原生javascript实现获取指定元素下所有后代元素的方法
2014/10/28 Javascript
js中this的用法实例分析
2015/01/10 Javascript
深入理解JavaScript系列(42):设计模式之原型模式详解
2015/03/04 Javascript
基于jquery实现ajax无刷新评论
2020/08/19 Javascript
详解Vue中添加过渡效果
2017/03/20 Javascript
Vue中$refs的用法详解
2018/06/24 Javascript
浅谈在vue中使用mint-ui swipe遇到的问题
2018/09/27 Javascript
Angular利用HTTP POST下载流文件的步骤记录
2020/07/26 Javascript
JavaScript浅层克隆与深度克隆示例详解
2020/09/01 Javascript
[04:27]2014DOTA2国际邀请赛 NAVI战队官方纪录片
2014/07/21 DOTA
[01:46]2018完美盛典章节片——坚守
2018/12/17 DOTA
在Python中使用模块的教程
2015/04/27 Python
使用Python的Django框架结合jQuery实现AJAX购物车页面
2016/04/11 Python
windows上安装Anaconda和python的教程详解
2017/03/28 Python
Python配置mysql的教程(推荐)
2017/10/13 Python
python实现向微信用户发送每日一句 python实现微信聊天机器人
2019/03/27 Python
pytorch 更改预训练模型网络结构的方法
2019/08/19 Python
Python实现随机取一个矩阵数组的某几行
2019/11/26 Python
python爬虫分布式获取数据的实例方法
2020/11/26 Python
详解html5 postMessage解决跨域通信的问题
2018/08/17 HTML / CSS
酒后驾驶检讨书
2014/01/27 职场文书
网站创业计划书
2014/04/30 职场文书
第二课堂活动总结
2014/05/07 职场文书
机械加工与数控专业自荐书
2014/06/04 职场文书
乡镇党员干部四风对照检查材料思想汇报
2014/09/27 职场文书
单位个人查摆问题及整改措施
2014/10/28 职场文书
先进党员事迹材料
2014/12/24 职场文书
vue-cli3.0修改打包后的文件名和文件地址,打包后本地运行报错解决
2022/04/06 Vue.js