python 深度学习中的4种激活函数


Posted in Python onSeptember 18, 2020

这篇文章用来整理一下入门深度学习过程中接触到的四种激活函数,下面会从公式、代码以及图像三个方面介绍这几种激活函数,首先来明确一下是哪四种:

  • Sigmoid函数
  • Tahn函数
  • ReLu函数
  • SoftMax函数

激活函数的作用

下面图像A是一个线性可分问题,也就是说对于两类点(蓝点和绿点),你通过一条直线就可以实现完全分类。

python 深度学习中的4种激活函数

当然图像A是最理想、也是最简单的一种二分类问题,但是现实中往往存在一些非常复杂的线性不可分问题,比如图像B,你是找不到任何一条直线可以将图像B中蓝点和绿点完全分开的,你必须圈出一个封闭曲线。

而激活函数就是帮助"绘制"这个封闭曲线的非线性函数,有了激活函数的帮助,很多算法的处理能力会得到加强,也可以处理线性不可分问题。

Sigmoid函数

Sigmoid函数曾在介绍逻辑回归时提起过,它的数学表达式为:

python 深度学习中的4种激活函数

其中 e 为纳皮尔常数,其值为2.7182... 它的图像如下:

python 深度学习中的4种激活函数

可以观察出图像的一些特点:

  • 曲线的值域为(0,1)
  • 当x = 0时,Sigmoid函数值为0.5
  • 随着 x 不断增大,Sigmoid函数值无限趋近于1
  • 随着 x 不断减小,Sigmoid函数值无限趋近于0

对于梯度下降法而言,信息的更新很大程度上都取决于梯度,而Sigmoid函数一个很明显的缺点就是当函数值特别靠近0或1这两端时,因为它的曲线已经近乎平缓,所以此时的梯度几乎为0,这样非常不利于权重的更新,从而就会导致模型不收敛。

Sigmoid函数的代码如下:

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

Tanh函数

Tanh函数是双曲正切函数,它的的数学表达式为:

python 深度学习中的4种激活函数

Tanh函数和Sigmoid函数非常相近,这点从图像上可以很好的体现:

python 深度学习中的4种激活函数

这两个函数相同的是,当输入的 x 值很大或者很小时,对应函数输出的 y 值近乎相等,同样的缺点也是梯度特别小,非常不利于权重的更新;不同的是Tanh函数的值域为(-1,1),并且当 x = 0 时,输出的函数值为0。

Tanh函数的代码如下:

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

ReLu函数

ReLu是线性整流函数,又称为修正性线性单元,它的函数的数学表达式为

python 深度学习中的4种激活函数

Tanh是一个分段函数,它的图像如下:

python 深度学习中的4种激活函数

图像很容易理解,若输入的 x 值小于0,则输出为也为0;若输入的 x 值大于0,则直接输出 x 值,需要注意的是ReLu函数在x = 0 处不连续(不可导),但同样也可以作为激活函数。

与Sigmoid函数和Tanh函数相比,ReLu函数一个很明显的优点就是在应用梯度下降法是收敛较快,当输入值为整数时,不会出现梯度饱和的问题,因为大于0的部分是一个线性关系,这个优点让ReLu成为目前应用较广的激活函数。

ReLu函数的代码如下:

import numpy as np
def relu(x):
 return np.maximum(0,x)

SoftMax函数

分类问题可以分为二分类问题和多分类问题,Sigmoid函数比较适合二分类问题,而SoftMax函数更加适合多分类问题。
SoftMax函数的数学表达式为:

python 深度学习中的4种激活函数

其中Vi表示分类器的输出,i表示类别索引,总的类别个数为C,Si表示当前元素的指数与所有元素指数和的比值。概括来说,SoftMax函数将多分类的输出值按比例转化为相对概率,使输出更容易理解和比较。

为了防止SoftMax函数计算时出现上溢出或者下溢出的问题,通常会提前对 V 做一些数值处理,即每个 V 减去 V 中的最大值,假设D=max(V),SoftMax函数数学表达式更改为:

python 深度学习中的4种激活函数

因为SoftMax函数计算的是概率,所以无法用图像进行展示,SoftMax函数的代码如下:

import numpy as np
def softmax(x):
 D = np.max(x)
 exp_x = np.exp(x-D)
 return exp_x / np.sum(exp_x)

以上就是python 深度学习中的4种激活函数的详细内容,更多关于python 激活函数的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python3.7实现中控考勤机自动连接
Aug 28 Python
python pyheatmap包绘制热力图
Nov 09 Python
Windows 8.1 64bit下搭建 Scrapy 0.22 环境
Nov 18 Python
Python最小二乘法矩阵
Jan 02 Python
Mac安装python3的方法步骤
Aug 09 Python
python采集百度搜索结果带有特定URL的链接代码实例
Aug 30 Python
50行Python代码实现视频中物体颜色识别和跟踪(必须以红色为例)
Nov 20 Python
基于python中__add__函数的用法
Nov 25 Python
Pycharm激活方法及详细教程(详细且实用)
May 12 Python
Python tkinter实现简单加法计算器代码实例
May 13 Python
Python根据字典的值查询出对应的键的方法
Sep 30 Python
OpenCV-Python实现轮廓的特征值
Jun 09 Python
python闭包与引用以及需要注意的陷阱
Sep 18 #Python
python 代码运行时间获取方式详解
Sep 18 #Python
python判断字符串以什么结尾的实例方法
Sep 18 #Python
python绘制趋势图的示例
Sep 17 #Python
Python绘制组合图的示例
Sep 18 #Python
记一次Django响应超慢的解决过程
Sep 17 #Python
Visual Studio Code搭建django项目的方法步骤
Sep 17 #Python
You might like
PHP中字符安全过滤函数使用小结
2015/02/25 PHP
PHP读取Excel类文件
2017/05/15 PHP
Laravel框架路由设置与使用示例
2018/06/12 PHP
共享自己写一个框架DreamScript
2007/01/20 Javascript
Extjs TriggerField在弹出窗口显示不出问题的解决方法
2010/01/08 Javascript
获得所有表单值的JQuery实现代码[IE暂不支持]
2012/05/24 Javascript
使用jquery选择器如何获取父级元素、同级元素、子元素
2014/05/14 Javascript
jQuery使用animate创建动画用法实例
2015/08/07 Javascript
ECMA5数组的新增方法有哪些及forEach()模仿实现
2015/11/03 Javascript
js实现精确到秒的倒计时效果
2016/05/29 Javascript
jQuery表单验证插件解析(推荐)
2016/07/21 Javascript
微信小程序 图片上传实例详解
2017/05/05 Javascript
VUE中使用Vue-resource完成交互
2017/07/21 Javascript
讲解vue-router之什么是嵌套路由
2018/05/28 Javascript
Vue.directive使用注意(小结)
2018/08/31 Javascript
稍微学一下Vue的数据响应式(Vue2及Vue3区别)
2019/11/21 Javascript
原生JS与JQ获取元素的区别详解
2020/02/13 Javascript
vue如何使用rem适配
2021/02/06 Vue.js
使用python将mdb数据库文件导入postgresql数据库示例
2014/02/17 Python
windows下python模拟鼠标点击和键盘输示例
2014/02/28 Python
Python实现获取某天是某个月中的第几周
2015/02/11 Python
python中numpy的矩阵、多维数组的用法
2018/02/05 Python
Python大数据之网络爬虫的post请求、get请求区别实例分析
2019/11/16 Python
python 实现矩阵按对角线打印
2019/11/29 Python
在TensorFlow中屏蔽warning的方式
2020/02/04 Python
django的autoreload机制实现
2020/06/03 Python
Styleonme中文网:韩国高档人气品牌
2017/06/21 全球购物
英国景点门票网站:attractiontix
2019/08/27 全球购物
客户经理岗位职责
2013/12/08 职场文书
体育系毕业生自荐信
2014/06/28 职场文书
故宫导游词
2015/01/31 职场文书
中学生学习保证书
2015/02/26 职场文书
工程进度款催款函
2015/06/24 职场文书
springboot+VUE实现登录注册
2021/05/27 Vue.js
Python趣味爬虫之用Python实现智慧校园一键评教
2021/05/28 Python
HTML5之高度塌陷问题的解决
2022/06/01 HTML / CSS