基于TensorFlow中自定义梯度的2种方式


Posted in Python onFebruary 04, 2020

前言

在深度学习中,有时候我们需要对某些节点的梯度进行一些定制,特别是该节点操作不可导(比如阶梯除法如 基于TensorFlow中自定义梯度的2种方式 ),如果实在需要对这个节点进行操作,而且希望其可以反向传播,那么就需要对其进行自定义反向传播时的梯度。在有些场景,如[2]中介绍到的梯度反转(gradient inverse)中,就必须在某层节点对反向传播的梯度进行反转,也就是需要更改正常的梯度传播过程,如下图的 基于TensorFlow中自定义梯度的2种方式 所示。

基于TensorFlow中自定义梯度的2种方式

在tensorflow中有若干可以实现定制梯度的方法,这里介绍两种。

1. 重写梯度法

重写梯度法指的是通过tensorflow自带的机制,将某个节点的梯度重写(override),这种方法的适用性最广。我们这里举个例子[3].

符号函数的前向传播采用的是阶跃函数y=sign(x) y = \rm{sign}(x)y=sign(x),如下图所示,我们知道阶跃函数不是连续可导的,因此我们在反向传播时,将其替代为一个可以连续求导的函数y=Htanh(x) y = \rm{Htanh(x)}y=Htanh(x),于是梯度就是大于1和小于-1时为0,在-1和1之间时是1。

基于TensorFlow中自定义梯度的2种方式

使用重写梯度的方法如下,主要是涉及到tf.RegisterGradient()和tf.get_default_graph().gradient_override_map(),前者注册新的梯度,后者重写图中具有名字name='Sign'的操作节点的梯度,用在新注册的QuantizeGrad替代。

#使用修饰器,建立梯度反向传播函数。其中op.input包含输入值、输出值,grad包含上层传来的梯度
@tf.RegisterGradient("QuantizeGrad")
def sign_grad(op, grad):
 input = op.inputs[0] # 取出当前的输入
 cond = (input>=-1)&(input<=1) # 大于1或者小于-1的值的位置
 zeros = tf.zeros_like(grad) # 定义出0矩阵用于掩膜
 return tf.where(cond, grad, zeros) 
 # 将大于1或者小于-1的上一层的梯度置为0
 
#使用with上下文管理器覆盖原始的sign梯度函数
def binary(input):
 x = input
 with tf.get_default_graph().gradient_override_map({"Sign":'QuantizeGrad'}):
 #重写梯度
  x = tf.sign(x)
 return x
 
#使用
x = binary(x)

其中的def sign_grad(op, grad):是注册新的梯度的套路,其中的op是当前操作的输入值/张量等,而grad指的是从反向而言的上一层的梯度。

通常来说,在tensorflow中自定义梯度,函数tf.identity()是很重要的,其API手册如下:

tf.identity(
 input,
 name=None
)

其会返回一个形状和内容都和输入完全一样的输出,但是你可以自定义其反向传播时的梯度,因此在梯度反转等操作中特别有用。

这里再举个反向梯度[2]的例子,也就是梯度为 基于TensorFlow中自定义梯度的2种方式 而不是 基于TensorFlow中自定义梯度的2种方式

import tensorflow as tf
x1 = tf.Variable(1)
x2 = tf.Variable(3)
x3 = tf.Variable(6)
@tf.RegisterGradient('CustomGrad')
def CustomGrad(op, grad):
#  tf.Print(grad)
 return -grad
 
g = tf.get_default_graph()
oo = x1+x2
with g.gradient_override_map({"Identity": "CustomGrad"}):
 output = tf.identity(oo)
grad_1 = tf.gradients(output, oo)
with tf.Session() as sess:
 sess.run(tf.global_variables_initializer())
 print(sess.run(grad_1))

因为-grad,所以这里的梯度输出是[-1]而不是[1]。有一个我们需要注意的是,在自定义函数def CustomGrad()中,返回的值得是一个张量,而不能返回一个参数,比如return 0,这样会报错,如:

AttributeError: 'int' object has no attribute 'name'

显然,这是因为tensorflow的内部操作需要取返回值的名字而int类型没有名字。

PS:def CustomGrad()这个函数签名是随便你取的。

2. stop_gradient法

对于自定义梯度,还有一种比较简洁的操作,就是利用tf.stop_gradient()函数,我们看下例子[1]:

t = g(x)
y = t + tf.stop_gradient(f(x) - t)

这里,我们本来的前向传递函数是f(x),但是想要在反向时传递的函数是g(x),因为在前向过程中,tf.stop_gradient()不起作用,因此+t和-t抵消掉了,只剩下f(x)前向传递;而在反向过程中,因为tf.stop_gradient()的作用,使得f(x)-t的梯度变为了0,从而只剩下g(x)在反向传递。

我们看下完整的例子:

import tensorflow as tf

x1 = tf.Variable(1)
x2 = tf.Variable(3)
x3 = tf.Variable(6)

f = x1+x2*x3
t = -f

y1 = t + tf.stop_gradient(f-t)
y2 = f

grad_1 = tf.gradients(y1, x1)
grad_2 = tf.gradients(y2, x1)
with tf.Session(config=config) as sess:
 sess.run(tf.global_variables_initializer())

 print(sess.run(grad_1))
 print(sess.run(grad_2))

第一个输出为[-1],第二个输出为[1],显然也实现了梯度的反转。

以上这篇基于TensorFlow中自定义梯度的2种方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python来编写HTTP服务器的超级指南
Feb 18 Python
Python 模拟员工信息数据库操作的实例
Oct 23 Python
Python Pywavelet 小波阈值实例
Jan 09 Python
Python的赋值、深拷贝与浅拷贝的区别详解
Feb 12 Python
Python单链表原理与实现方法详解
Feb 22 Python
python 比较字典value的最大值的几种方法
Apr 17 Python
Python闭包及装饰器运行原理解析
Jun 17 Python
如何在python中实现线性回归
Aug 10 Python
Python 制作查询商品历史价格的小工具
Oct 20 Python
python向xls写入数据(包括合并,边框,对齐,列宽)
Feb 02 Python
python ConfigParser库的使用及遇到的坑
Feb 12 Python
Python+SeaTable实现计算两个日期间的工作日天数
Jul 07 Python
tensorflow 查看梯度方式
Feb 04 #Python
opencv python图像梯度实例详解
Feb 04 #Python
TensorFlow设置日志级别的几种方式小结
Feb 04 #Python
Python 实现加密过的PDF文件转WORD格式
Feb 04 #Python
解决tensorflow打印tensor有省略号的问题
Feb 04 #Python
对Tensorflow中tensorboard日志的生成与显示详解
Feb 04 #Python
在 Python 中接管键盘中断信号的实现方法
Feb 04 #Python
You might like
Discuz! 5.0.0论坛程序中加入一段js代码,让会员点击下载附件前自动弹出提示窗口
2007/04/18 PHP
php根据年月获取季度的方法
2014/03/31 PHP
php结合js实现点击超链接执行删除确认操作
2014/10/31 PHP
php单例模式示例分享
2015/02/12 PHP
php中实现用数组妩媚地生成要执行的sql语句
2015/07/10 PHP
简单了解将WordPress中的工具栏移到底部的小技巧
2015/12/31 PHP
Yii列表定义与使用分页方法小结(3种方法)
2016/07/15 PHP
Thinkphp 在api开发中异常返回依然是html的解决方式
2019/10/16 PHP
JQuery获取文本框中字符长度的代码
2011/09/29 Javascript
javascript之典型高阶函数应用介绍
2013/01/10 Javascript
jquery实现简单的拖拽效果实例兼容所有主流浏览器(优化篇)
2013/06/28 Javascript
jquery移除、绑定、触发元素事件使用示例详解
2014/04/10 Javascript
node.js中的fs.fsyncSync方法使用说明
2014/12/15 Javascript
window.location.reload 刷新使用分析(去对话框)
2015/11/11 Javascript
基于jquery实现省市联动特效
2015/12/17 Javascript
javascript学习笔记_浅谈基础语法,类型,变量
2016/09/19 Javascript
require、backbone等重构手机图片查看器
2016/11/17 Javascript
javaScript中封装的各种写法示例(推荐)
2017/07/03 Javascript
Vue.js中的computed工作原理
2018/03/22 Javascript
Vue利用Blob下载原生二进制数组文件
2019/09/25 Javascript
详解React 条件渲染
2020/07/08 Javascript
python爬虫使用cookie登录详解
2017/12/27 Python
python计算两个地址之间的距离方法
2018/06/09 Python
Django框架视图介绍与使用详解
2019/07/18 Python
python中单下划线(_)和双下划线(__)的特殊用法
2019/08/29 Python
Scrapy中如何向Spider传入参数的方法实现
2020/09/28 Python
Vinatis德国:法国领先的葡萄酒邮购公司
2020/09/07 全球购物
优秀的计算机专业求职信范文
2013/12/27 职场文书
应届毕业生自荐信例文
2014/02/26 职场文书
HR求职自荐信范文
2014/06/21 职场文书
2014年小学工作总结
2014/11/26 职场文书
2014年乡镇工会工作总结
2014/12/02 职场文书
怎样写离婚协议书
2015/01/26 职场文书
小学2016年第十八届推普周活动总结
2016/04/05 职场文书
CSS3实现360度循环旋转功能
2022/02/12 HTML / CSS
详解Spring Bean的配置方式与实例化
2022/06/10 Java/Android