PyTorch中常用的激活函数的方法示例


Posted in Python onAugust 20, 2019

神经网络只是由两个或多个线性网络层叠加,并不能学到新的东西,简单地堆叠网络层,不经过非线性激活函数激活,学到的仍然是线性关系。

但是加入激活函数可以学到非线性的关系,就具有更强的能力去进行特征提取。

构造数据

import torch
import torch.nn.functional as F
from torch.autograd import Variable

import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, 200)  # 构造一段连续的数据
x = Variable(x)	 # 转换成张量
x_np = x.data.numpy()	# 换成 numpy array, 出图时用

Relu

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Sigmoid

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Tanh

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Softplus

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现简单的TCP代理服务器
Oct 08 Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 Python
python字典多键值及重复键值的使用方法(详解)
Oct 31 Python
自学python的建议和周期预算
Jan 30 Python
python实现QQ空间自动点赞功能
Apr 09 Python
使用Python实现跳帧截取视频帧
May 31 Python
Python3 使用pillow库生成随机验证码
Aug 26 Python
python图片指定区域替换img.paste函数的使用
Apr 09 Python
Python HTMLTestRunner可视化报告实现过程解析
Apr 10 Python
python:删除离群值操作(每一行为一类数据)
Jun 08 Python
Python 读取位于包中的数据文件
Aug 07 Python
详解Go语言运用广度优先搜索走迷宫
Jun 23 Python
Pytorch抽取网络层的Feature Map(Vgg)实例
Aug 20 #Python
python批量解压zip文件的方法
Aug 20 #Python
pytorch获取vgg16-feature层输出的例子
Aug 20 #Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 #Python
Python实现某论坛自动签到功能
Aug 20 #Python
python函数的作用域及关键字详解
Aug 20 #Python
pytorch 可视化feature map的示例代码
Aug 20 #Python
You might like
php的GD库imagettftext函数解决中文乱码问题
2015/01/24 PHP
JavaScript DOM学习第四章 getElementByTagNames
2010/02/19 Javascript
在浏览器中获取当前执行的脚本文件名的代码
2011/07/19 Javascript
IE6-IE9不支持table.innerHTML的解决方法分享
2012/09/14 Javascript
JavaScript中创建类/对象的几种方法总结
2013/11/29 Javascript
解析JavaScript中的不可见数据类型
2013/12/02 Javascript
Node.js中对通用模块的封装方法
2014/06/06 Javascript
JavaScript插件化开发教程 (四)
2015/01/27 Javascript
confirm确认对话框的实现方法总结
2016/06/17 Javascript
Vuejs第十二篇之动态组件全面解析
2016/09/09 Javascript
AngularJs+Bootstrap实现漂亮的计算器
2017/08/10 Javascript
详解如何在nuxt中添加proxyTable代理
2018/08/10 Javascript
新手快速上手webpack4打包工具的使用详解
2019/01/28 Javascript
微信小程序利用swiper+css实现购物车商品删除功能
2019/03/06 Javascript
微信小程序按钮点击跳转页面详解
2019/05/06 Javascript
实用的Vue开发技巧
2019/05/30 Javascript
jQuery Datatables 动态列+跨列合并实现代码
2020/01/30 jQuery
基于node+websocket+html实现腾讯课堂聊天室聊天功能
2020/03/04 Javascript
JS实现canvas简单小画板功能
2020/06/23 Javascript
基于javascript实现放大镜特效
2020/12/03 Javascript
[17:45]DOTA2 HEROES教学视频教你分分钟做大人-军团指挥官
2014/06/11 DOTA
说一说Python logging
2016/04/15 Python
Python基础知识_浅谈用户交互
2017/05/31 Python
Python简易版停车管理系统
2019/08/12 Python
python 数据提取及拆分的实现代码
2019/08/26 Python
PyCharm中配置PySide2的图文教程
2020/06/18 Python
python 常见的反爬虫策略
2020/09/27 Python
浅析Python requests 模块
2020/10/09 Python
CSS3点击按钮实现背景渐变动画效果
2016/10/19 HTML / CSS
结婚保证书(三从四德)
2015/02/26 职场文书
合同纠纷调解书
2015/05/20 职场文书
收入证明申请书
2015/06/12 职场文书
超市店长竞聘书
2015/09/15 职场文书
Python 把两层列表展开平铺成一层(5种实现方式)
2021/04/07 Python
用Python爬取各大高校并可视化帮弟弟选大学,弟弟直呼牛X
2021/06/11 Python
关于python3 opencv 图像二值化的问题(cv2.adaptiveThreshold函数)
2022/04/04 Python