python 深度学习中的4种激活函数


Posted in Python onSeptember 18, 2020

这篇文章用来整理一下入门深度学习过程中接触到的四种激活函数,下面会从公式、代码以及图像三个方面介绍这几种激活函数,首先来明确一下是哪四种:

  • Sigmoid函数
  • Tahn函数
  • ReLu函数
  • SoftMax函数

激活函数的作用

下面图像A是一个线性可分问题,也就是说对于两类点(蓝点和绿点),你通过一条直线就可以实现完全分类。

python 深度学习中的4种激活函数

当然图像A是最理想、也是最简单的一种二分类问题,但是现实中往往存在一些非常复杂的线性不可分问题,比如图像B,你是找不到任何一条直线可以将图像B中蓝点和绿点完全分开的,你必须圈出一个封闭曲线。

而激活函数就是帮助"绘制"这个封闭曲线的非线性函数,有了激活函数的帮助,很多算法的处理能力会得到加强,也可以处理线性不可分问题。

Sigmoid函数

Sigmoid函数曾在介绍逻辑回归时提起过,它的数学表达式为:

python 深度学习中的4种激活函数

其中 e 为纳皮尔常数,其值为2.7182... 它的图像如下:

python 深度学习中的4种激活函数

可以观察出图像的一些特点:

  • 曲线的值域为(0,1)
  • 当x = 0时,Sigmoid函数值为0.5
  • 随着 x 不断增大,Sigmoid函数值无限趋近于1
  • 随着 x 不断减小,Sigmoid函数值无限趋近于0

对于梯度下降法而言,信息的更新很大程度上都取决于梯度,而Sigmoid函数一个很明显的缺点就是当函数值特别靠近0或1这两端时,因为它的曲线已经近乎平缓,所以此时的梯度几乎为0,这样非常不利于权重的更新,从而就会导致模型不收敛。

Sigmoid函数的代码如下:

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

Tanh函数

Tanh函数是双曲正切函数,它的的数学表达式为:

python 深度学习中的4种激活函数

Tanh函数和Sigmoid函数非常相近,这点从图像上可以很好的体现:

python 深度学习中的4种激活函数

这两个函数相同的是,当输入的 x 值很大或者很小时,对应函数输出的 y 值近乎相等,同样的缺点也是梯度特别小,非常不利于权重的更新;不同的是Tanh函数的值域为(-1,1),并且当 x = 0 时,输出的函数值为0。

Tanh函数的代码如下:

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

ReLu函数

ReLu是线性整流函数,又称为修正性线性单元,它的函数的数学表达式为

python 深度学习中的4种激活函数

Tanh是一个分段函数,它的图像如下:

python 深度学习中的4种激活函数

图像很容易理解,若输入的 x 值小于0,则输出为也为0;若输入的 x 值大于0,则直接输出 x 值,需要注意的是ReLu函数在x = 0 处不连续(不可导),但同样也可以作为激活函数。

与Sigmoid函数和Tanh函数相比,ReLu函数一个很明显的优点就是在应用梯度下降法是收敛较快,当输入值为整数时,不会出现梯度饱和的问题,因为大于0的部分是一个线性关系,这个优点让ReLu成为目前应用较广的激活函数。

ReLu函数的代码如下:

import numpy as np
def relu(x):
 return np.maximum(0,x)

SoftMax函数

分类问题可以分为二分类问题和多分类问题,Sigmoid函数比较适合二分类问题,而SoftMax函数更加适合多分类问题。
SoftMax函数的数学表达式为:

python 深度学习中的4种激活函数

其中Vi表示分类器的输出,i表示类别索引,总的类别个数为C,Si表示当前元素的指数与所有元素指数和的比值。概括来说,SoftMax函数将多分类的输出值按比例转化为相对概率,使输出更容易理解和比较。

为了防止SoftMax函数计算时出现上溢出或者下溢出的问题,通常会提前对 V 做一些数值处理,即每个 V 减去 V 中的最大值,假设D=max(V),SoftMax函数数学表达式更改为:

python 深度学习中的4种激活函数

因为SoftMax函数计算的是概率,所以无法用图像进行展示,SoftMax函数的代码如下:

import numpy as np
def softmax(x):
 D = np.max(x)
 exp_x = np.exp(x-D)
 return exp_x / np.sum(exp_x)

以上就是python 深度学习中的4种激活函数的详细内容,更多关于python 激活函数的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python 字符串转列表 list 出现\ufeff的解决方法
Jun 22 Python
Python使用jsonpath-rw模块处理Json对象操作示例
Jul 31 Python
Python wxPython库使用wx.ListBox创建列表框示例
Sep 03 Python
python3应用windows api对后台程序窗口及桌面截图并保存的方法
Aug 27 Python
python集合常见运算案例解析
Oct 17 Python
tensorboard实现同时显示训练曲线和测试曲线
Jan 21 Python
使用python求解二次规划的问题
Feb 29 Python
浅谈pandas.cut与pandas.qcut的使用方法及区别
Mar 03 Python
jupyter notebook 重装教程
Apr 16 Python
python如何查看网页代码
Jun 07 Python
Python celery原理及运行流程解析
Jun 13 Python
容易被忽略的Python内置类型
Sep 03 Python
python闭包与引用以及需要注意的陷阱
Sep 18 #Python
python 代码运行时间获取方式详解
Sep 18 #Python
python判断字符串以什么结尾的实例方法
Sep 18 #Python
python绘制趋势图的示例
Sep 17 #Python
Python绘制组合图的示例
Sep 18 #Python
记一次Django响应超慢的解决过程
Sep 17 #Python
Visual Studio Code搭建django项目的方法步骤
Sep 17 #Python
You might like
落伍首发 php+mysql 采用ajax技术的 省 市 地 3级联动无刷新菜单 源码
2006/12/16 PHP
php 正则表达式小结
2009/08/31 PHP
phpmyadmin提示The mbstring extension is missing的解决方法
2014/12/17 PHP
PHP中soap用法示例【SoapServer服务端与SoapClient客户端编写】
2018/12/25 PHP
Yii2框架操作数据库的方法分析【以mysql为例】
2019/05/27 PHP
javascript之大字符串的连接的StringBuffer 类
2007/05/08 Javascript
JavaScript创建命名空间(namespace)的最简实现
2007/12/11 Javascript
调整小数的格式保留小数点后两位
2014/05/14 Javascript
jQuery中attr()方法用法实例
2015/01/05 Javascript
JavaScript使用FileSystemObject对象写入文本文件内容的方法
2015/08/05 Javascript
js微信分享API
2020/10/11 Javascript
webstorm建立vue-cli脚手架的傻瓜式教程
2020/09/22 Javascript
跟老齐学Python之有容乃大的list(3)
2014/09/15 Python
python将MongoDB里的ObjectId转换为时间戳的方法
2015/03/13 Python
python实现的系统实用log类实例
2015/06/30 Python
Python生成随机数组的方法小结
2017/04/15 Python
python实现各进制转换的总结大全
2017/06/18 Python
python实现矩阵打印
2019/03/02 Python
用Python爬取QQ音乐评论并制成词云图的实例
2019/08/24 Python
python获取array中指定元素的示例
2019/11/26 Python
基于Python中isfile函数和isdir函数使用详解
2019/11/29 Python
TensorFlow命名空间和TensorBoard图节点实例
2020/01/23 Python
基于matplotlib中ion()和ioff()的使用详解
2020/06/16 Python
广告学专业应届生求职信
2013/10/01 职场文书
后勤人员岗位职责
2013/12/17 职场文书
学习党课思想汇报
2013/12/29 职场文书
护士思想汇报
2014/01/12 职场文书
高二英语教学反思
2014/01/19 职场文书
霸气押韵的班级口号
2014/06/09 职场文书
先进教师个人总结
2015/02/11 职场文书
护士年终个人总结
2015/02/13 职场文书
2015年度护士个人工作总结
2015/04/09 职场文书
2015年电话客服工作总结
2015/05/18 职场文书
员工保密协议范本,您一定得收藏!很有用!
2019/08/08 职场文书
MySQL 如何分析查询性能
2021/05/12 MySQL
浅析Redis Sentinel 与 Redis Cluster
2021/06/24 Redis