PyTorch中常用的激活函数的方法示例


Posted in Python onAugust 20, 2019

神经网络只是由两个或多个线性网络层叠加,并不能学到新的东西,简单地堆叠网络层,不经过非线性激活函数激活,学到的仍然是线性关系。

但是加入激活函数可以学到非线性的关系,就具有更强的能力去进行特征提取。

构造数据

import torch
import torch.nn.functional as F
from torch.autograd import Variable

import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, 200)  # 构造一段连续的数据
x = Variable(x)	 # 转换成张量
x_np = x.data.numpy()	# 换成 numpy array, 出图时用

Relu

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Sigmoid

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Tanh

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Softplus

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python基础知识小结之集合
Nov 25 Python
python if not in 多条件判断代码
Sep 21 Python
Python入门_浅谈逻辑判断与运算符
May 16 Python
python2与python3共存问题的解决方法
Sep 18 Python
Python之inspect模块实现获取加载模块路径的方法
Oct 16 Python
windows下numpy下载与安装图文教程
Apr 02 Python
在自动化中用python实现键盘操作的方法详解
Jul 19 Python
Python文件操作基础流程解析
Mar 19 Python
Python读取二进制文件代码方法解析
Jun 22 Python
Python3读写ini配置文件的示例
Nov 06 Python
最新Python idle下载、安装与使用教程图文详解
Nov 28 Python
Django如何与Ajax交互
Apr 29 Python
Pytorch抽取网络层的Feature Map(Vgg)实例
Aug 20 #Python
python批量解压zip文件的方法
Aug 20 #Python
pytorch获取vgg16-feature层输出的例子
Aug 20 #Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 #Python
Python实现某论坛自动签到功能
Aug 20 #Python
python函数的作用域及关键字详解
Aug 20 #Python
pytorch 可视化feature map的示例代码
Aug 20 #Python
You might like
PHP 采集程序中常用的函数
2009/12/09 PHP
PHP三层结构(上) 简单三层结构
2010/07/04 PHP
基于在生产环境中使用php性能测试工具xhprof的详解
2013/06/03 PHP
PHP之短标签开启设置
2013/06/17 PHP
php使用正则表达式获取图片url的方法
2015/01/16 PHP
php将文件夹打包成zip文件的简单实现方法
2016/10/04 PHP
php微信公众号开发之关键词回复
2018/10/20 PHP
JavaScript For Beginners(转载)
2007/01/05 Javascript
Prototype RegExp对象 学习
2009/07/19 Javascript
jquery 选择器引擎sizzle浅析
2013/02/06 Javascript
jQuery实现响应鼠标滚动的动感菜单效果
2015/09/21 Javascript
ES6中如何使用Set和WeakSet
2016/03/10 Javascript
jQuery easyui刷新当前tabs的方法
2016/09/23 Javascript
AngularJS中watch监听用法分析
2016/11/04 Javascript
javascript 单例模式详解及简单实例
2017/02/14 Javascript
vue.js 1.x与2.0中js实时监听input值的变化
2017/03/15 Javascript
JavaScript中undefined和null的区别
2017/05/03 Javascript
基于vue cli重构多页面脚手架过程详解
2018/01/23 Javascript
jqGrid表格底部汇总、合计行footerrow处理
2019/08/21 Javascript
[02:38]DOTA2英雄基础教程 噬魂鬼
2014/01/03 DOTA
Python开发之快速搭建自动回复微信公众号功能
2016/04/22 Python
python进阶之多线程对同一个全局变量的处理方法
2018/11/09 Python
Python类继承和多态原理解析
2020/02/05 Python
jupyter notebook 调用环境中的Keras或者pytorch教程
2020/04/14 Python
Python 如何对文件目录操作
2020/07/10 Python
使用python画出逻辑斯蒂映射(logistic map)中的分叉图案例
2020/12/11 Python
HTML5 Video标签的属性、方法和事件汇总介绍
2015/04/24 HTML / CSS
HTML5实现自带进度条和滑块滑杆效果
2018/04/17 HTML / CSS
英国知名的护肤彩妆与时尚配饰大型综合零售电商:Unineed
2016/11/21 全球购物
数学与统计学院学生个人职业生涯规划书
2014/02/10 职场文书
《少年王勃》教学反思
2014/04/27 职场文书
学习保证书范文
2014/04/30 职场文书
大学新闻系应届生求职信
2014/06/02 职场文书
助理政工师申报材料
2014/06/03 职场文书
2016年“六一儿童节”校园广播稿
2015/12/17 职场文书
关于PostgreSQL JSONB的匹配和交集问题
2021/09/14 PostgreSQL