基于TensorFlow中自定义梯度的2种方式


Posted in Python onFebruary 04, 2020

前言

在深度学习中,有时候我们需要对某些节点的梯度进行一些定制,特别是该节点操作不可导(比如阶梯除法如 基于TensorFlow中自定义梯度的2种方式 ),如果实在需要对这个节点进行操作,而且希望其可以反向传播,那么就需要对其进行自定义反向传播时的梯度。在有些场景,如[2]中介绍到的梯度反转(gradient inverse)中,就必须在某层节点对反向传播的梯度进行反转,也就是需要更改正常的梯度传播过程,如下图的 基于TensorFlow中自定义梯度的2种方式 所示。

基于TensorFlow中自定义梯度的2种方式

在tensorflow中有若干可以实现定制梯度的方法,这里介绍两种。

1. 重写梯度法

重写梯度法指的是通过tensorflow自带的机制,将某个节点的梯度重写(override),这种方法的适用性最广。我们这里举个例子[3].

符号函数的前向传播采用的是阶跃函数y=sign(x) y = \rm{sign}(x)y=sign(x),如下图所示,我们知道阶跃函数不是连续可导的,因此我们在反向传播时,将其替代为一个可以连续求导的函数y=Htanh(x) y = \rm{Htanh(x)}y=Htanh(x),于是梯度就是大于1和小于-1时为0,在-1和1之间时是1。

基于TensorFlow中自定义梯度的2种方式

使用重写梯度的方法如下,主要是涉及到tf.RegisterGradient()和tf.get_default_graph().gradient_override_map(),前者注册新的梯度,后者重写图中具有名字name='Sign'的操作节点的梯度,用在新注册的QuantizeGrad替代。

#使用修饰器,建立梯度反向传播函数。其中op.input包含输入值、输出值,grad包含上层传来的梯度
@tf.RegisterGradient("QuantizeGrad")
def sign_grad(op, grad):
 input = op.inputs[0] # 取出当前的输入
 cond = (input>=-1)&(input<=1) # 大于1或者小于-1的值的位置
 zeros = tf.zeros_like(grad) # 定义出0矩阵用于掩膜
 return tf.where(cond, grad, zeros) 
 # 将大于1或者小于-1的上一层的梯度置为0
 
#使用with上下文管理器覆盖原始的sign梯度函数
def binary(input):
 x = input
 with tf.get_default_graph().gradient_override_map({"Sign":'QuantizeGrad'}):
 #重写梯度
  x = tf.sign(x)
 return x
 
#使用
x = binary(x)

其中的def sign_grad(op, grad):是注册新的梯度的套路,其中的op是当前操作的输入值/张量等,而grad指的是从反向而言的上一层的梯度。

通常来说,在tensorflow中自定义梯度,函数tf.identity()是很重要的,其API手册如下:

tf.identity(
 input,
 name=None
)

其会返回一个形状和内容都和输入完全一样的输出,但是你可以自定义其反向传播时的梯度,因此在梯度反转等操作中特别有用。

这里再举个反向梯度[2]的例子,也就是梯度为 基于TensorFlow中自定义梯度的2种方式 而不是 基于TensorFlow中自定义梯度的2种方式

import tensorflow as tf
x1 = tf.Variable(1)
x2 = tf.Variable(3)
x3 = tf.Variable(6)
@tf.RegisterGradient('CustomGrad')
def CustomGrad(op, grad):
#  tf.Print(grad)
 return -grad
 
g = tf.get_default_graph()
oo = x1+x2
with g.gradient_override_map({"Identity": "CustomGrad"}):
 output = tf.identity(oo)
grad_1 = tf.gradients(output, oo)
with tf.Session() as sess:
 sess.run(tf.global_variables_initializer())
 print(sess.run(grad_1))

因为-grad,所以这里的梯度输出是[-1]而不是[1]。有一个我们需要注意的是,在自定义函数def CustomGrad()中,返回的值得是一个张量,而不能返回一个参数,比如return 0,这样会报错,如:

AttributeError: 'int' object has no attribute 'name'

显然,这是因为tensorflow的内部操作需要取返回值的名字而int类型没有名字。

PS:def CustomGrad()这个函数签名是随便你取的。

2. stop_gradient法

对于自定义梯度,还有一种比较简洁的操作,就是利用tf.stop_gradient()函数,我们看下例子[1]:

t = g(x)
y = t + tf.stop_gradient(f(x) - t)

这里,我们本来的前向传递函数是f(x),但是想要在反向时传递的函数是g(x),因为在前向过程中,tf.stop_gradient()不起作用,因此+t和-t抵消掉了,只剩下f(x)前向传递;而在反向过程中,因为tf.stop_gradient()的作用,使得f(x)-t的梯度变为了0,从而只剩下g(x)在反向传递。

我们看下完整的例子:

import tensorflow as tf

x1 = tf.Variable(1)
x2 = tf.Variable(3)
x3 = tf.Variable(6)

f = x1+x2*x3
t = -f

y1 = t + tf.stop_gradient(f-t)
y2 = f

grad_1 = tf.gradients(y1, x1)
grad_2 = tf.gradients(y2, x1)
with tf.Session(config=config) as sess:
 sess.run(tf.global_variables_initializer())

 print(sess.run(grad_1))
 print(sess.run(grad_2))

第一个输出为[-1],第二个输出为[1],显然也实现了梯度的反转。

以上这篇基于TensorFlow中自定义梯度的2种方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python函数参数*args**kwargs用法实例
Dec 04 Python
Python装饰器入门学习教程(九步学习)
Jan 28 Python
Python 专题三 字符串的基础知识
Mar 19 Python
Python基于回溯法子集树模板解决m着色问题示例
Sep 07 Python
Selenium控制浏览器常见操作示例
Aug 13 Python
梅尔频率倒谱系数(mfcc)及Python实现
Jun 18 Python
python多进程并发demo实例解析
Dec 13 Python
python numpy数组中的复制知识解析
Feb 03 Python
python GUI库图形界面开发之PyQt5 Qt Designer工具(Qt设计师)详细使用方法及Designer ui文件转py文件方法
Feb 26 Python
python使用建议与技巧分享(一)
Aug 17 Python
python pyg2plot的原理知识点总结
Feb 28 Python
Python first-order-model实现让照片动起来
Jun 25 Python
tensorflow 查看梯度方式
Feb 04 #Python
opencv python图像梯度实例详解
Feb 04 #Python
TensorFlow设置日志级别的几种方式小结
Feb 04 #Python
Python 实现加密过的PDF文件转WORD格式
Feb 04 #Python
解决tensorflow打印tensor有省略号的问题
Feb 04 #Python
对Tensorflow中tensorboard日志的生成与显示详解
Feb 04 #Python
在 Python 中接管键盘中断信号的实现方法
Feb 04 #Python
You might like
php+ajax做仿百度搜索下拉自动提示框(有实例)
2012/08/21 PHP
PHP中__get()和__set()的用法实例详解
2013/06/04 PHP
163的邮件用phpmailer发送(实例详解)
2013/06/24 PHP
Dwz与thinkphp整合下的数据导出到Excel实例
2014/12/04 PHP
php实现阿拉伯数字和罗马数字相互转换的方法
2015/04/17 PHP
PHP版本常用的排序算法汇总
2015/12/20 PHP
PHP实现简单实用的分页类代码
2016/04/08 PHP
jQuery学习笔记之jQuery动画效果
2013/09/09 Javascript
js加入收藏夹代码(兼容ie/ff/op)
2014/05/16 Javascript
jQuery与JavaScript节点创建方法的对比
2016/11/18 Javascript
js实现简单的选项卡效果
2017/02/23 Javascript
JavaScript中利用Array filter() 方法压缩稀疏数组
2018/02/24 Javascript
JavaScript事件对象深入详解
2018/12/30 Javascript
Angular脚手架开发的实现步骤
2019/04/09 Javascript
用Vue编写抽象组件的方法
2019/05/06 Javascript
js实现图片粘贴到网页
2019/12/06 Javascript
JQuery通过键盘控制键盘按下与松开触发事件
2020/08/07 jQuery
React Native登录之指纹登录篇的示例代码
2020/11/03 Javascript
JavaScript实现无限轮播效果
2020/11/19 Javascript
python利用Guetzli批量压缩图片
2017/03/23 Python
python发送告警邮件脚本
2018/09/17 Python
python变量命名的7条建议
2019/07/04 Python
pytorch masked_fill报错的解决
2020/02/18 Python
Python爬虫爬取糗事百科段子实例分享
2020/07/31 Python
通过实例解析python subprocess模块原理及用法
2020/10/10 Python
python re的findall和finditer的区别详解
2020/11/15 Python
用CSS3和table标签实现一个圆形轨迹的动画的示例代码
2019/01/17 HTML / CSS
英国高街品牌:Miss Selfridge(塞尔弗里奇小姐)
2016/09/21 全球购物
数据库的约束含义
2012/09/09 面试题
网上卖盒饭创业计划书
2014/01/26 职场文书
建房协议书
2014/04/11 职场文书
校园主题婚礼活动策划方案
2014/09/15 职场文书
暂住证明怎么写
2015/06/19 职场文书
2015年学校少先队工作总结
2015/07/20 职场文书
学习经验交流会演讲稿
2015/11/02 职场文书
2019入党申请书格式和范文
2019/06/25 职场文书