python 深度学习中的4种激活函数


Posted in Python onSeptember 18, 2020

这篇文章用来整理一下入门深度学习过程中接触到的四种激活函数,下面会从公式、代码以及图像三个方面介绍这几种激活函数,首先来明确一下是哪四种:

  • Sigmoid函数
  • Tahn函数
  • ReLu函数
  • SoftMax函数

激活函数的作用

下面图像A是一个线性可分问题,也就是说对于两类点(蓝点和绿点),你通过一条直线就可以实现完全分类。

python 深度学习中的4种激活函数

当然图像A是最理想、也是最简单的一种二分类问题,但是现实中往往存在一些非常复杂的线性不可分问题,比如图像B,你是找不到任何一条直线可以将图像B中蓝点和绿点完全分开的,你必须圈出一个封闭曲线。

而激活函数就是帮助"绘制"这个封闭曲线的非线性函数,有了激活函数的帮助,很多算法的处理能力会得到加强,也可以处理线性不可分问题。

Sigmoid函数

Sigmoid函数曾在介绍逻辑回归时提起过,它的数学表达式为:

python 深度学习中的4种激活函数

其中 e 为纳皮尔常数,其值为2.7182... 它的图像如下:

python 深度学习中的4种激活函数

可以观察出图像的一些特点:

  • 曲线的值域为(0,1)
  • 当x = 0时,Sigmoid函数值为0.5
  • 随着 x 不断增大,Sigmoid函数值无限趋近于1
  • 随着 x 不断减小,Sigmoid函数值无限趋近于0

对于梯度下降法而言,信息的更新很大程度上都取决于梯度,而Sigmoid函数一个很明显的缺点就是当函数值特别靠近0或1这两端时,因为它的曲线已经近乎平缓,所以此时的梯度几乎为0,这样非常不利于权重的更新,从而就会导致模型不收敛。

Sigmoid函数的代码如下:

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

Tanh函数

Tanh函数是双曲正切函数,它的的数学表达式为:

python 深度学习中的4种激活函数

Tanh函数和Sigmoid函数非常相近,这点从图像上可以很好的体现:

python 深度学习中的4种激活函数

这两个函数相同的是,当输入的 x 值很大或者很小时,对应函数输出的 y 值近乎相等,同样的缺点也是梯度特别小,非常不利于权重的更新;不同的是Tanh函数的值域为(-1,1),并且当 x = 0 时,输出的函数值为0。

Tanh函数的代码如下:

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

ReLu函数

ReLu是线性整流函数,又称为修正性线性单元,它的函数的数学表达式为

python 深度学习中的4种激活函数

Tanh是一个分段函数,它的图像如下:

python 深度学习中的4种激活函数

图像很容易理解,若输入的 x 值小于0,则输出为也为0;若输入的 x 值大于0,则直接输出 x 值,需要注意的是ReLu函数在x = 0 处不连续(不可导),但同样也可以作为激活函数。

与Sigmoid函数和Tanh函数相比,ReLu函数一个很明显的优点就是在应用梯度下降法是收敛较快,当输入值为整数时,不会出现梯度饱和的问题,因为大于0的部分是一个线性关系,这个优点让ReLu成为目前应用较广的激活函数。

ReLu函数的代码如下:

import numpy as np
def relu(x):
 return np.maximum(0,x)

SoftMax函数

分类问题可以分为二分类问题和多分类问题,Sigmoid函数比较适合二分类问题,而SoftMax函数更加适合多分类问题。
SoftMax函数的数学表达式为:

python 深度学习中的4种激活函数

其中Vi表示分类器的输出,i表示类别索引,总的类别个数为C,Si表示当前元素的指数与所有元素指数和的比值。概括来说,SoftMax函数将多分类的输出值按比例转化为相对概率,使输出更容易理解和比较。

为了防止SoftMax函数计算时出现上溢出或者下溢出的问题,通常会提前对 V 做一些数值处理,即每个 V 减去 V 中的最大值,假设D=max(V),SoftMax函数数学表达式更改为:

python 深度学习中的4种激活函数

因为SoftMax函数计算的是概率,所以无法用图像进行展示,SoftMax函数的代码如下:

import numpy as np
def softmax(x):
 D = np.max(x)
 exp_x = np.exp(x-D)
 return exp_x / np.sum(exp_x)

以上就是python 深度学习中的4种激活函数的详细内容,更多关于python 激活函数的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python 简易计算器程序,代码就几行
Aug 29 Python
python应用程序在windows下不出现cmd窗口的办法
May 29 Python
使用Python编写简单的画图板程序的示例教程
Dec 08 Python
pygame游戏之旅 添加游戏界面按键图形
Nov 20 Python
Python中一般处理中文的几种方法
Mar 06 Python
浅谈Python2之汉字编码为unicode的问题(即类似\xc3\xa4)
Aug 12 Python
用Python写一个自动木马程序
Sep 17 Python
图解python全局变量与局部变量相关知识
Nov 02 Python
Python Numpy 自然数填充数组的实现
Nov 28 Python
Python os模块常用方法和属性总结
Feb 20 Python
Python爬虫之Selenium实现关闭浏览器
Dec 04 Python
只用20行Python代码实现屏幕录制功能
Jun 02 Python
python闭包与引用以及需要注意的陷阱
Sep 18 #Python
python 代码运行时间获取方式详解
Sep 18 #Python
python判断字符串以什么结尾的实例方法
Sep 18 #Python
python绘制趋势图的示例
Sep 17 #Python
Python绘制组合图的示例
Sep 18 #Python
记一次Django响应超慢的解决过程
Sep 17 #Python
Visual Studio Code搭建django项目的方法步骤
Sep 17 #Python
You might like
ADODB结合SMARTY使用~超级强
2006/11/25 PHP
PHP测试程序运行时间的类
2012/02/05 PHP
PHP中的print_r 与 var_dump 输出数组
2016/06/13 PHP
PHP环境搭建的详细步骤
2016/06/30 PHP
PHP实现批量清空删除指定文件夹所有内容的方法
2017/05/30 PHP
laravel获取不到session的三种解决办法【推荐】
2018/09/16 PHP
PHP聊天室简单实现方法详解
2018/12/08 PHP
文本加密解密
2006/06/23 Javascript
js操作textarea 常用方法总结
2012/12/03 Javascript
javascript获得网页窗口实际大小的示例代码
2013/09/21 Javascript
对 jQuery 中 data 方法的误解分析
2014/06/18 Javascript
JavaScript将取代AppleScript?
2014/09/18 Javascript
2014年最火的Node.JS后端框架推荐
2014/10/27 Javascript
js+css实现tab菜单切换效果的方法
2015/01/20 Javascript
基于jQuery实现动态数字展示效果
2015/08/12 Javascript
js带缩略图的图片轮播效果代码分享
2015/09/14 Javascript
JavaScript第一篇之实现按钮全选、功能
2016/08/21 Javascript
JavaScript之Vue.js【入门基础】
2016/12/06 Javascript
关于javascript事件响应的基础语法总结(必看篇)
2016/12/26 Javascript
nodejs集成sqlite使用示例
2017/06/05 NodeJs
JavaScript实现三级级联特效
2017/11/05 Javascript
JSON字符串操作移除空串更改key/value的介绍
2019/01/05 Javascript
Vue实现仿iPhone悬浮球的示例代码
2020/03/13 Javascript
vue实现div可拖动位置也可改变盒子大小的原理
2020/09/16 Javascript
vue element ui validate 主动触发错误提示操作
2020/09/21 Javascript
js实现弹幕墙效果
2020/12/10 Javascript
[50:21]Liquid vs Winstrike 2018国际邀请赛小组赛BO2 第二场
2018/08/19 DOTA
Python实现封装打包自己写的代码,被python import
2020/07/12 Python
HTML5自定义data-* data(obj)属性和jquery的data()方法的使用
2012/12/13 HTML / CSS
HTML5 实现图片上传预处理功能
2020/02/06 HTML / CSS
启动一个线程是用run()还是start()
2016/12/25 面试题
企业年会主持词
2014/03/27 职场文书
贫困证明书格式及范文
2014/10/15 职场文书
2015年采购员工作总结
2015/04/27 职场文书
2015年检验科工作总结
2015/04/27 职场文书
Golang中interface{}转为数组的操作
2021/04/30 Golang