PyTorch中常用的激活函数的方法示例


Posted in Python onAugust 20, 2019

神经网络只是由两个或多个线性网络层叠加,并不能学到新的东西,简单地堆叠网络层,不经过非线性激活函数激活,学到的仍然是线性关系。

但是加入激活函数可以学到非线性的关系,就具有更强的能力去进行特征提取。

构造数据

import torch
import torch.nn.functional as F
from torch.autograd import Variable

import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, 200)  # 构造一段连续的数据
x = Variable(x)	 # 转换成张量
x_np = x.data.numpy()	# 换成 numpy array, 出图时用

Relu

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Sigmoid

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Tanh

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

Softplus

表达式:

PyTorch中常用的激活函数的方法示例

代码:

y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

形状如图:

PyTorch中常用的激活函数的方法示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用Python抢过年的火车票附源码
Dec 07 Python
Python如何快速实现分布式任务
Jul 06 Python
使用TensorFlow实现SVM
Sep 06 Python
Python将一个Excel拆分为多个Excel
Nov 07 Python
python用插值法绘制平滑曲线
Feb 19 Python
关于python之字典的嵌套,递归调用方法
Jan 21 Python
python3连接mysql获取ansible动态inventory脚本
Jan 19 Python
python lambda函数及三个常用的高阶函数
Feb 05 Python
python 常见的反爬虫策略
Sep 27 Python
Python json解析库jsonpath原理及使用示例
Nov 25 Python
django中cookiecutter的使用教程
Dec 03 Python
详解使用scrapy进行模拟登陆三种方式
Feb 21 Python
Pytorch抽取网络层的Feature Map(Vgg)实例
Aug 20 #Python
python批量解压zip文件的方法
Aug 20 #Python
pytorch获取vgg16-feature层输出的例子
Aug 20 #Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 #Python
Python实现某论坛自动签到功能
Aug 20 #Python
python函数的作用域及关键字详解
Aug 20 #Python
pytorch 可视化feature map的示例代码
Aug 20 #Python
You might like
整合了前面的PHP数据库连接类~~做成一个分页类!
2006/11/25 PHP
php合并数组array_merge函数运算符加号与的区别
2008/10/31 PHP
判断Keep-Alive模式的HTTP请求的结束的实现代码
2011/08/06 PHP
php 的加密函数 md5,crypt,base64_encode 等使用介绍
2012/04/09 PHP
php使用mb_check_encoding检查字符串在指定的编码里是否有效
2013/11/07 PHP
PHP实现递归复制整个文件夹的类实例
2015/08/03 PHP
PHP从二维数组得到N层分类树的实现代码
2016/10/11 PHP
php中引用&的用法分析【变量引用,函数引用,对象引用】
2016/12/12 PHP
php实例化一个类的具体方法
2019/09/19 PHP
javascript实现上传图片并预览的效果实现代码
2011/04/11 Javascript
nodejs实现的一个简单聊天室功能分享
2014/12/06 NodeJs
js学习阶段总结(必看篇)
2016/06/16 Javascript
JS Canvas定时器模拟动态加载动画
2016/09/17 Javascript
BootStrap轮播HTML代码(推荐)
2016/12/10 Javascript
canvas 实现中国象棋
2017/02/17 Javascript
jQuery实现在HTML文档加载完毕后自动执行某个事件的方法
2017/05/08 jQuery
angularjs 缓存的使用详解
2018/03/19 Javascript
JavaScript同源策略和跨域访问实例详解
2018/04/03 Javascript
js实现通过开始结束控制的计时器
2019/02/25 Javascript
javascript实现贪吃蛇游戏(娱乐版)
2020/08/17 Javascript
Python 函数基础知识汇总
2018/03/09 Python
python绘制中国大陆人口热力图
2018/11/07 Python
Python面向对象之类的内置attr属性示例
2018/12/14 Python
Opencv-Python图像透视变换cv2.warpPerspective的示例
2019/04/11 Python
python实现简单成绩录入系统
2019/09/19 Python
Python 中 -m 的典型用法、原理解析与发展演变
2019/11/11 Python
Python中的引用和拷贝实例解析
2019/11/14 Python
Python获取、格式化当前时间日期的方法
2020/02/10 Python
python 删除系统中的文件(按时间,大小,扩展名)
2020/11/19 Python
军训心得体会
2013/12/31 职场文书
课程改革实施方案
2014/03/16 职场文书
行政内勤岗位职责
2014/04/07 职场文书
美容院店长岗位职责
2014/04/08 职场文书
2014年培训工作总结范文
2014/11/27 职场文书
2016年植树节红领巾广播稿
2015/12/17 职场文书
告诉你创业计划书的8个实用技巧
2019/07/12 职场文书