PyTorch中常用的激活函数的方法示例


Posted in Python onAugust 20, 2019

神经网络只是由两个或多个线性网络层叠加,并不能学到新的东西,简单地堆叠网络层,不经过非线性激活函数激活,学到的仍然是线性关系。

但是加入激活函数可以学到非线性的关系,就具有更强的能力去进行特征提取。

构造数据

import torch
import torch.nn.functional as F
from torch.autograd import Variable

import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, 200)  # 构造一段连续的数据
x = Variable(x)	 # 转换成张量
x_np = x.data.numpy()	# 换成 numpy array, 出图时用

Relu

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Sigmoid

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Tanh

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Softplus

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
利用Python演示数型数据结构的教程
Apr 03 Python
python实现数据预处理之填充缺失值的示例
Dec 22 Python
Python中property函数用法实例分析
Jun 04 Python
python Tkinter版学生管理系统
Feb 20 Python
Django 开发调试工具 Django-debug-toolbar使用详解
Jul 23 Python
Python动态声明变量赋值代码实例
Dec 30 Python
Selenium 滚动页面至元素可见的方法
Mar 18 Python
在Windows上安装和配置 Jupyter Lab 作为桌面级应用程序教程
Apr 22 Python
python简单利用字典破解zip文件口令
Sep 07 Python
Jupyter安装链接aconda实现过程图解
Nov 02 Python
python requests库的使用
Jan 06 Python
Python抖音快手代码舞(字符舞)的实现方法
Feb 07 Python
Pytorch抽取网络层的Feature Map(Vgg)实例
Aug 20 #Python
python批量解压zip文件的方法
Aug 20 #Python
pytorch获取vgg16-feature层输出的例子
Aug 20 #Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 #Python
Python实现某论坛自动签到功能
Aug 20 #Python
python函数的作用域及关键字详解
Aug 20 #Python
pytorch 可视化feature map的示例代码
Aug 20 #Python
You might like
php中hashtable实现示例分享
2014/02/13 PHP
php异常处理方法实例汇总
2015/06/24 PHP
php原生导出excel文件的两种方法(推荐)
2016/11/19 PHP
PHP const定义常量及global定义全局常量实例解析
2020/05/28 PHP
IE中radio 或checkbox的checked属性初始状态下不能选中显示问题
2009/07/25 Javascript
js获取键盘按键响应事件(兼容各浏览器)
2013/05/16 Javascript
JS实现图片翻书效果示例代码
2013/09/09 Javascript
JS实现模仿微博发布效果实例代码
2013/12/16 Javascript
jquery 中的each()跳出循环的语句
2014/05/23 Javascript
浅谈重写window对象的方法
2014/12/29 Javascript
js判断鼠标位置是否在某个div中的方法
2016/02/26 Javascript
js多功能分页组件layPage使用方法详解
2016/05/19 Javascript
javascript加减乘除的简单实例
2016/07/12 Javascript
最全正则表达式总结:验证QQ号、手机号、Email、中文、邮编、身份证、IP地址等
2017/08/16 Javascript
用Webpack构建Vue项目的实践
2017/11/07 Javascript
vue百度地图 + 定位的详解
2019/05/13 Javascript
小程序的上传文件接口的注意要点解析
2019/09/17 Javascript
JS实现旋转木马轮播图
2020/01/01 Javascript
python中使用百度音乐搜索的api下载指定歌曲的lrc歌词
2014/07/18 Python
python通过wxPython打开一个音频文件并播放的方法
2015/03/25 Python
python中的lambda表达式用法详解
2016/06/22 Python
python Opencv将图片转为字符画
2021/02/19 Python
Pandas 同元素多列去重的实例
2018/07/03 Python
python 获取图片分辨率的方法
2019/01/08 Python
pytorch masked_fill报错的解决
2020/02/18 Python
利用python3筛选excel中特定的行(行值满足某个条件/行值属于某个集合)
2020/09/04 Python
美国医疗用品、医疗设备和家庭保健用品商店:Medical Supply Depot
2018/07/08 全球购物
如何理解委托
2012/01/06 面试题
党性心得体会
2014/09/03 职场文书
单位考核聘任报告
2015/03/02 职场文书
自荐信怎么写
2015/03/04 职场文书
单身证明范本
2015/06/15 职场文书
jquery插件实现搜索历史
2021/04/24 jQuery
Win11 引入 Windows 365 云操作系统,适应疫情期间混合办公模式:启动时直接登录、模
2022/04/06 数码科技
JavaScript中10个Reduce常用场景技巧
2022/06/21 Javascript
python 使用pandas读取csv文件的方法
2022/12/24 Python