PyTorch中常用的激活函数的方法示例


Posted in Python onAugust 20, 2019

神经网络只是由两个或多个线性网络层叠加,并不能学到新的东西,简单地堆叠网络层,不经过非线性激活函数激活,学到的仍然是线性关系。

但是加入激活函数可以学到非线性的关系,就具有更强的能力去进行特征提取。

构造数据

import torch
import torch.nn.functional as F
from torch.autograd import Variable

import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, 200)  # 构造一段连续的数据
x = Variable(x)	 # 转换成张量
x_np = x.data.numpy()	# 换成 numpy array, 出图时用

Relu

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Sigmoid

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Tanh

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Softplus

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之玩转字符串(2)更新篇
Sep 28 Python
python3 与python2 异常处理的区别与联系
Jun 19 Python
Python读取视频的两种方法(imageio和cv2)
Apr 15 Python
浅谈pytorch和Numpy的区别以及相互转换方法
Jul 26 Python
Python中反射和描述器总结
Sep 23 Python
解决PySide+Python子线程更新UI线程的问题
Jan 11 Python
Python控制Firefox方法总结
Jun 03 Python
详解python中的数据类型和控制流
Aug 08 Python
python-Web-flask-视图内容和模板知识点西宁街
Aug 23 Python
TensorBoard 计算图的可视化实现
Feb 15 Python
基于Python中random.sample()的替代方案
May 23 Python
详解Python requests模块
Jun 21 Python
Pytorch抽取网络层的Feature Map(Vgg)实例
Aug 20 #Python
python批量解压zip文件的方法
Aug 20 #Python
pytorch获取vgg16-feature层输出的例子
Aug 20 #Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 #Python
Python实现某论坛自动签到功能
Aug 20 #Python
python函数的作用域及关键字详解
Aug 20 #Python
pytorch 可视化feature map的示例代码
Aug 20 #Python
You might like
php删除页面记录 同时刷新页面 删除条件用GET方式获得
2012/01/10 PHP
php读取纯真ip数据库使用示例
2014/01/26 PHP
javascript数组与php数组的地址传递及值传递用法实例
2015/01/22 PHP
laravel 时间格式转时间戳的例子
2019/10/11 PHP
jquery中对表单的基本操作代码
2010/07/29 Javascript
javascript Event对象详解及使用示例
2013/11/22 Javascript
JavaScript实现把数字转换成中文
2015/06/29 Javascript
仅30行代码实现Javascript中的MVC
2016/02/15 Javascript
jQuery toggle 代替方法
2016/03/22 Javascript
js 创建对象 经典模式全面了解
2016/08/16 Javascript
JavaScript中const、var和let区别浅析
2016/10/11 Javascript
JavaScript高仿支付宝倒计时页面及代码实现
2016/10/21 Javascript
Angular之指令Directive用法详解
2017/03/01 Javascript
ReactNative之FlatList的具体使用方法
2017/11/29 Javascript
Vue.js中使用iView日期选择器并设置开始时间结束时间校验功能
2018/08/12 Javascript
在Vue中使用this.$store或者是$route一直报错的解决
2019/11/08 Javascript
extjs4图表绘制之折线图实现方法分析
2020/03/06 Javascript
Node.js API详解之 dgram模块用法实例分析
2020/06/05 Javascript
微信小程序报错: thirdScriptError的错误问题
2020/06/19 Javascript
Python中的复制操作及copy模块中的浅拷贝与深拷贝方法
2016/07/02 Python
Python pyinotify日志监控系统处理日志的方法
2018/03/08 Python
python 格式化输出百分号的方法
2019/01/20 Python
pytorch多GPU并行运算的实现
2019/09/27 Python
python3 requests库实现多图片爬取教程
2019/12/18 Python
django Model层常用验证器及自定义验证器详解
2020/07/15 Python
HTML5 Canvas绘制五星红旗
2016/05/04 HTML / CSS
苹果台湾官网:Apple台湾
2019/01/05 全球购物
Crocs波兰官方商店:女鞋、男鞋、童鞋、洞洞鞋
2019/10/08 全球购物
不开辟用于交换数据的临时空间,如何完成字符串的逆序
2012/12/02 面试题
为什么要做架构设计
2015/07/08 面试题
大学生学习2014全国两会心得体会
2014/03/13 职场文书
2014年少先队工作总结
2014/12/03 职场文书
2015年高二班主任工作总结
2015/05/25 职场文书
交流会主持词
2015/07/02 职场文书
2016年春节慰问信息大全
2015/11/30 职场文书
2016大学生优秀志愿者事迹材料
2016/02/25 职场文书