python 深度学习中的4种激活函数


Posted in Python onSeptember 18, 2020

这篇文章用来整理一下入门深度学习过程中接触到的四种激活函数,下面会从公式、代码以及图像三个方面介绍这几种激活函数,首先来明确一下是哪四种:

  • Sigmoid函数
  • Tahn函数
  • ReLu函数
  • SoftMax函数

激活函数的作用

下面图像A是一个线性可分问题,也就是说对于两类点(蓝点和绿点),你通过一条直线就可以实现完全分类。

python 深度学习中的4种激活函数

当然图像A是最理想、也是最简单的一种二分类问题,但是现实中往往存在一些非常复杂的线性不可分问题,比如图像B,你是找不到任何一条直线可以将图像B中蓝点和绿点完全分开的,你必须圈出一个封闭曲线。

而激活函数就是帮助"绘制"这个封闭曲线的非线性函数,有了激活函数的帮助,很多算法的处理能力会得到加强,也可以处理线性不可分问题。

Sigmoid函数

Sigmoid函数曾在介绍逻辑回归时提起过,它的数学表达式为:

python 深度学习中的4种激活函数

其中 e 为纳皮尔常数,其值为2.7182... 它的图像如下:

python 深度学习中的4种激活函数

可以观察出图像的一些特点:

  • 曲线的值域为(0,1)
  • 当x = 0时,Sigmoid函数值为0.5
  • 随着 x 不断增大,Sigmoid函数值无限趋近于1
  • 随着 x 不断减小,Sigmoid函数值无限趋近于0

对于梯度下降法而言,信息的更新很大程度上都取决于梯度,而Sigmoid函数一个很明显的缺点就是当函数值特别靠近0或1这两端时,因为它的曲线已经近乎平缓,所以此时的梯度几乎为0,这样非常不利于权重的更新,从而就会导致模型不收敛。

Sigmoid函数的代码如下:

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

Tanh函数

Tanh函数是双曲正切函数,它的的数学表达式为:

python 深度学习中的4种激活函数

Tanh函数和Sigmoid函数非常相近,这点从图像上可以很好的体现:

python 深度学习中的4种激活函数

这两个函数相同的是,当输入的 x 值很大或者很小时,对应函数输出的 y 值近乎相等,同样的缺点也是梯度特别小,非常不利于权重的更新;不同的是Tanh函数的值域为(-1,1),并且当 x = 0 时,输出的函数值为0。

Tanh函数的代码如下:

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

ReLu函数

ReLu是线性整流函数,又称为修正性线性单元,它的函数的数学表达式为

python 深度学习中的4种激活函数

Tanh是一个分段函数,它的图像如下:

python 深度学习中的4种激活函数

图像很容易理解,若输入的 x 值小于0,则输出为也为0;若输入的 x 值大于0,则直接输出 x 值,需要注意的是ReLu函数在x = 0 处不连续(不可导),但同样也可以作为激活函数。

与Sigmoid函数和Tanh函数相比,ReLu函数一个很明显的优点就是在应用梯度下降法是收敛较快,当输入值为整数时,不会出现梯度饱和的问题,因为大于0的部分是一个线性关系,这个优点让ReLu成为目前应用较广的激活函数。

ReLu函数的代码如下:

import numpy as np
def relu(x):
 return np.maximum(0,x)

SoftMax函数

分类问题可以分为二分类问题和多分类问题,Sigmoid函数比较适合二分类问题,而SoftMax函数更加适合多分类问题。
SoftMax函数的数学表达式为:

python 深度学习中的4种激活函数

其中Vi表示分类器的输出,i表示类别索引,总的类别个数为C,Si表示当前元素的指数与所有元素指数和的比值。概括来说,SoftMax函数将多分类的输出值按比例转化为相对概率,使输出更容易理解和比较。

为了防止SoftMax函数计算时出现上溢出或者下溢出的问题,通常会提前对 V 做一些数值处理,即每个 V 减去 V 中的最大值,假设D=max(V),SoftMax函数数学表达式更改为:

python 深度学习中的4种激活函数

因为SoftMax函数计算的是概率,所以无法用图像进行展示,SoftMax函数的代码如下:

import numpy as np
def softmax(x):
 D = np.max(x)
 exp_x = np.exp(x-D)
 return exp_x / np.sum(exp_x)

以上就是python 深度学习中的4种激活函数的详细内容,更多关于python 激活函数的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python中的break、continue、exit()、pass全面解析
Aug 05 Python
numpy实现合并多维矩阵、list的扩展方法
May 08 Python
Python docx库用法示例分析
Feb 16 Python
python爬虫爬取微博评论案例详解
Mar 27 Python
Python3.5内置模块之shelve模块、xml模块、configparser模块、hashlib、hmac模块用法分析
Apr 27 Python
在Python中过滤Windows文件名中的非法字符方法
Jun 10 Python
PyQt5 实现给窗口设置背景图片的方法
Jun 13 Python
Tensorflow实现酸奶销量预测分析
Jul 19 Python
django 使用 PIL 压缩图片的例子
Aug 16 Python
基于python实现操作redis及消息队列
Aug 27 Python
Python自动登录QQ的实现示例
Aug 28 Python
Python中for后接else的语法使用
May 18 Python
python闭包与引用以及需要注意的陷阱
Sep 18 #Python
python 代码运行时间获取方式详解
Sep 18 #Python
python判断字符串以什么结尾的实例方法
Sep 18 #Python
python绘制趋势图的示例
Sep 17 #Python
Python绘制组合图的示例
Sep 18 #Python
记一次Django响应超慢的解决过程
Sep 17 #Python
Visual Studio Code搭建django项目的方法步骤
Sep 17 #Python
You might like
php打包压缩文件之ZipArchive方法用法分析
2016/04/30 PHP
firefox浏览器下javascript 拖动层效果与原理分析代码
2007/12/04 Javascript
js拦截alert对话框另类应用
2013/01/16 Javascript
js向上无缝滚动,网站公告效果 具体代码
2013/11/18 Javascript
点击显示指定元素隐藏其他同辈元素的方法
2014/02/19 Javascript
js 采用delete实现继承示例代码
2014/05/20 Javascript
jquery实现相册一下滑动两次的方法
2015/02/09 Javascript
jQuery Mobile动态刷新页面样式的实现方法
2016/05/28 Javascript
D3.js实现雷达图的方法详解
2016/09/22 Javascript
vue 粒子特效的示例代码
2017/09/19 Javascript
详解如何在项目中使用jest测试react native组件
2018/02/09 Javascript
js jquery 获取某一元素到浏览器顶端的距离实现方法
2018/09/05 jQuery
基于vue-cli 路由 实现类似tab切换效果(vue 2.0)
2019/05/08 Javascript
百度小程序之间的页面通信过程详解
2019/07/18 Javascript
Node 模块原理与用法详解
2020/05/13 Javascript
Node.js web 应用如何封装到Docker容器中
2020/09/01 Javascript
JavaScript实现滚动加载更多
2020/12/27 Javascript
Python图形绘制操作之正弦曲线实现方法分析
2017/12/25 Python
python实现壁纸批量下载代码实例
2018/01/25 Python
pandas.DataFrame.to_json按行转json的方法
2018/06/05 Python
基于python3监控服务器状态进行邮件报警
2019/10/19 Python
如何更改 pandas dataframe 中两列的位置
2019/12/27 Python
Python Selenium参数配置方法解析
2020/01/19 Python
美国精品家居用品网站:US-Mattress
2016/08/24 全球购物
瑞士图书网站:Weltbild.ch
2019/09/17 全球购物
奢华的意大利皮革手袋:Bene Handbags
2019/10/29 全球购物
学习新党章思想汇报
2014/01/09 职场文书
直接有效的自我评价
2014/01/11 职场文书
《诚实与信任》教学反思
2014/04/10 职场文书
家长学校工作方案
2014/05/07 职场文书
大学优秀班集体申报材料
2014/05/23 职场文书
超市七夕促销活动方案
2014/08/28 职场文书
2014年学校团委工作总结
2014/12/20 职场文书
2015年敬老月活动总结
2015/03/27 职场文书
2015年音乐教学工作总结
2015/07/22 职场文书
《蓝鲸的眼睛》读后感5篇
2020/01/15 职场文书