在Tensorflow中实现leakyRelu操作详解(高效)


Posted in Python onJune 30, 2020

从github上转来,实在是厉害的想法,什么时候自己也能写出这种精妙的代码就好了

原地址:简易高效的LeakyReLu实现

代码如下:

我做了些改进,因为实在tensorflow中使用,就将原来的abs()函数替换成了tf.abs()

import tensorflow as tf
def LeakyRelu(x, leak=0.2, name="LeakyRelu"):
   with tf.variable_scope(name):
     f1 = 0.5 * (1 + leak)
     f2 = 0.5 * (1 - leak)
     return f1 * x + f2 * tf.abs(x) # 这里和原文有不一样的,我没试验过原文的代码,但tf.abs()肯定是对的

补充知识:激活函数ReLU、Leaky ReLU、PReLU和RReLU

“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。

在Tensorflow中实现leakyRelu操作详解(高效)

sigmoid和tanh是“饱和激活函数”,而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点:

1.首先,“非饱和激活函数”能解决所谓的“梯度消失”问题。

2.其次,它能加快收敛速度。

Sigmoid函数需要一个实值输入压缩至[0,1]的范围

σ(x) = 1 / (1 + exp(−x))

tanh函数需要讲一个实值输入压缩至 [-1, 1]的范围

tanh(x) = 2σ(2x) − 1

ReLU

ReLU函数代表的的是“修正线性单元”,它是带有卷积图像的输入x的最大函数(x,o)。ReLU函数将矩阵x内所有负值都设为零,其余的值不变。ReLU函数的计算是在卷积之后进行的,因此它与tanh函数和sigmoid函数一样,同属于“非线性激活函数”。这一内容是由Geoff Hinton首次提出的。

ELUs

ELUs是“指数线性单元”,它试图将激活函数的平均值接近零,从而加快学习的速度。同时,它还能通过正值的标识来避免梯度消失的问题。根据一些研究,ELUs分类精确度是高于ReLUs的。下面是关于ELU细节信息的详细介绍:

在Tensorflow中实现leakyRelu操作详解(高效)

Leaky ReLUs

ReLU是将所有的负值都设为零,相反,Leaky ReLU是给所有负值赋予一个非零斜率。Leaky ReLU激活函数是在声学模型(2013)中首次提出的。以数学的方式我们可以表示为:

在Tensorflow中实现leakyRelu操作详解(高效)

ai是(1,+∞)区间内的固定参数。

参数化修正线性单元(PReLU)

PReLU可以看作是Leaky ReLU的一个变体。在PReLU中,负值部分的斜率是根据数据来定的,而非预先定义的。作者称,在ImageNet分类(2015,Russakovsky等)上,PReLU是超越人类分类水平的关键所在。

随机纠正线性单元(RReLU)

“随机纠正线性单元”RReLU也是Leaky ReLU的一个变体。在RReLU中,负值的斜率在训练中是随机的,在之后的测试中就变成了固定的了。RReLU的亮点在于,在训练环节中,aji是从一个均匀的分布U(I,u)中随机抽取的数值。形式上来说,我们能得到以下结果:

在Tensorflow中实现leakyRelu操作详解(高效)

总结

下图是ReLU、Leaky ReLU、PReLU和RReLU的比较:

在Tensorflow中实现leakyRelu操作详解(高效)

PReLU中的ai是根据数据变化的;

Leaky ReLU中的ai是固定的;

RReLU中的aji是一个在一个给定的范围内随机抽取的值,这个值在测试环节就会固定下来。

以上这篇在Tensorflow中实现leakyRelu操作详解(高效)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python访问纯真IP数据库的代码
May 19 Python
用Python进行TCP网络编程的教程
Apr 29 Python
Python编程实现二叉树及七种遍历方法详解
Jun 02 Python
Python列表推导式与生成器用法分析
Aug 02 Python
python 模拟贷款卡号生成规则过程解析
Aug 30 Python
python 实现单通道转3通道
Dec 03 Python
python GUI库图形界面开发之PyQt5图片显示控件QPixmap详细使用方法与实例
Feb 27 Python
Python urllib.request对象案例解析
May 11 Python
python语言的优势是什么
Jun 17 Python
利用python 下载bilibili视频
Nov 13 Python
利用python为PostgreSQL的表自动添加分区
Jan 18 Python
Python中Selenium对Cookie的操作方法
Jul 09 Python
TensorFlow-gpu和opencv安装详细教程
Jun 30 #Python
tensorflow 2.1.0 安装与实战教程(CASIA FACE v5)
Jun 30 #Python
python 最简单的实现适配器设计模式的示例
Jun 30 #Python
Tensorflow--取tensorf指定列的操作方式
Jun 30 #Python
解决TensorFlow程序无限制占用GPU的方法
Jun 30 #Python
tensorflow 大于某个值为1,小于为0的实例
Jun 30 #Python
基于tf.shape(tensor)和tensor.shape()的区别说明
Jun 30 #Python
You might like
《Pokemon Sword·Shield》系列WEB动画《薄明之翼》第2话声优阵容公开!
2020/03/06 日漫
PHP 事件机制(2)
2011/03/23 PHP
destoon找回管理员密码的方法
2014/06/21 PHP
PHP基于mssql扩展远程连接MSSQL的简单实现方法
2016/10/08 PHP
动态改变textbox的宽高的js
2006/10/26 Javascript
JavaScript 学习笔记(六)
2009/12/31 Javascript
基于jquery实现的上传图片及图片大小验证、图片预览效果代码
2011/04/12 Javascript
EditPlus注册码生成器(js代码实现)
2013/03/25 Javascript
JS小功能(列表页面隔行变色)简单实现
2013/11/28 Javascript
javascript运行机制之this详细介绍
2014/02/07 Javascript
jQuery计算文本框字数及限制文本框字数的方法
2016/03/01 Javascript
Javascript中常见的逻辑题和解决方法
2016/09/17 Javascript
JS实现图片垂直居中显示小结
2016/12/13 Javascript
解决vue项目报错webpackJsonp is not defined问题
2018/03/14 Javascript
JS实现数组去重及数组内对象去重功能示例
2019/02/02 Javascript
JS实现电话号码的字母组合算法示例
2019/02/26 Javascript
react-native滑动吸顶效果的实现过程
2019/06/03 Javascript
JavaScript中的null和undefined用法解析
2019/09/30 Javascript
vuex(vue状态管理)的特殊应用案例分享
2020/03/03 Javascript
javascript实现贪吃蛇经典游戏
2020/04/10 Javascript
[01:00:54]TI4正赛第二日开场
2014/07/20 DOTA
[00:10]DOTA2全国高校联赛 以DOTA2会友
2018/05/30 DOTA
python实现的一个p2p文件传输实例
2014/06/04 Python
Python实现把json格式转换成文本或sql文件
2015/07/10 Python
pandas Dataframe行列读取的实例
2018/06/08 Python
Python脚本完成post接口测试的实例
2018/12/17 Python
python自动化测试之如何解析excel文件
2019/06/27 Python
Django中提示消息messages的设置方式
2019/11/15 Python
Pytorch中index_select() 函数的实现理解
2019/11/19 Python
将 Ubuntu 16 和 18 上的 python 升级到最新 python3.8 的方法教程
2020/03/11 Python
python小白学习包管理器pip安装
2020/06/09 Python
CSS3中使用RGBA设置透明度的示例
2015/08/04 HTML / CSS
村级个人对照检查材料
2014/08/22 职场文书
七一建党节慰问信
2015/02/14 职场文书
结婚老公保证书
2015/02/26 职场文书
2015年社区重阳节活动总结
2015/07/30 职场文书