双向RNN:bidirectional_dynamic_rnn()函数的使用详解


Posted in Python onJanuary 20, 2020

双向RNN:bidirectional_dynamic_rnn()函数的使用详解

先说下为什么要使用到双向RNN,在读一篇文章的时候,上文提到的信息十分的重要,但这些信息是不足以捕捉文章信息的,下文隐含的信息同样会对该时刻的语义产生影响。

举一个不太恰当的例子,某次工作会议上,领导进行“简洁地”总结,他会在第一句告诉你:“下面,为了节约时间,我简单地说两点…”,(…此处略去五百字…),“首先,….”,(…此处略去一万字…),“碍于时间的关系,我要加快速度了,下面我简要说下第二点…”(…此处再次略去五千字…)“好的,我想说的大概就是这些”(…此处又略去了二百字…),“谢谢大家!”如果将这篇发言交给一个单层的RNN网络去学习,因为“首先”和“第二点”中间隔得实在太久,等到开始学习“第二点”时,网络已经忘记了“简单地说两点”这个重要的信息,最终的结果就只剩下在风中凌乱了。。。于是我们决定加一个反向的网络,从后开始往前听,对于这层网络,他首先听到的就是“第二点”,然后是“首先”,最后,他对比了一下果然仅仅是“简要地两点”,在于前向的网络进行结合,就深入学习了领导的指导精神。

双向RNN:bidirectional_dynamic_rnn()函数的使用详解

上图是一个双向LSTM的结构图,对于最后输出的每个隐藏状态双向RNN:bidirectional_dynamic_rnn()函数的使用详解 都是前向网络和后向网络的元组,即双向RNN:bidirectional_dynamic_rnn()函数的使用详解 其中每一个双向RNN:bidirectional_dynamic_rnn()函数的使用详解 或者双向RNN:bidirectional_dynamic_rnn()函数的使用详解 又是一个由隐藏状态和细胞状态组成的元组(或者是concat)。同样最终的output也是需要将前向和后向的输出concat起来的,这样就保证了在最终时刻,无论是输出还是隐藏状态都是有考虑了上文和下文信息的。

下面就来看下tensorflow中已经集成的 tf.nn.bidirectional_dynamic_rnn() 函数。似乎双向的暂时只有这一个动态的RNN方法,不过想想也能理解,这种结构暂时也只会在encoder端出现,无论你的输入是pad到了定长或者是不定长的,动态RNN都是可以处理的。

具体的定义如下:

tf.nn.bidirectional_dynamic_rnn(
 cell_fw,
 cell_bw,
 inputs,
 sequence_length=None,
 initial_state_fw=None,
 initial_state_bw=None,
 dtype=None,
 parallel_iterations=None,
 swap_memory=False,
 time_major=False,
 scope=None
)

仔细看这个方法似乎和dynamic_rnn()没有太大区别,无非是多加了一个bw的部分,事实上也的确如此。先看下前向传播的部分:

with vs.variable_scope(scope or "bidirectional_rnn"):
 # Forward direction
 with vs.variable_scope("fw") as fw_scope:
  output_fw, output_state_fw = dynamic_rnn(
    cell=cell_fw, inputs=inputs, 
    sequence_length=sequence_length,
    initial_state=initial_state_fw, 
    dtype=dtype,
    parallel_iterations=parallel_iterations, 
    swap_memory=swap_memory,
    scope=fw_scope)

完全就是一个dynamic_rnn(),至于你选择LSTM或者GRU,只是cell的定义不同罢了。而双向RNN的核心就在于反向的bw部分。刚才说过,反向部分就是从后往前读,而这个翻转的部分,就要用到一个reverse_sequence()的方法,来看一下这一部分:

with vs.variable_scope("bw") as bw_scope:
 # ———————————— 此处是重点 ———————————— 
 inputs_reverse = _reverse(
   inputs, seq_lengths=sequence_length,
   seq_dim=time_dim, batch_dim=batch_dim)
 # ————————————————————————————————————
 tmp, output_state_bw = dynamic_rnn(
   cell=cell_bw, 
   inputs=inputs_reverse, 
   sequence_length=sequence_length,
   initial_state=initial_state_bw, 
   dtype=dtype,
   parallel_iterations=parallel_iterations,
   swap_memory=swap_memory,
   time_major=time_major, 
   scope=bw_scope)

我们可以看到,这里的输入不再是inputs,而是一个inputs_reverse,根据time_major的取值,time_dim和batch_dim组合的 {0,1} 取值正好相反,也就对应了时间维和批量维的词序关系。

而最终的输出:

outputs = (output_fw, output_bw)
output_states = (output_state_fw, output_state_bw)

这里还有最后的一个小问题,output_states是一个元组的元组,我个人的处理方法是用c_fw,h_fw = output_state_fw和c_bw,h_bw = output_state_bw,最后再分别将c和h状态concat起来,用tf.contrib.rnn.LSTMStateTuple()函数生成decoder端的初始状态。

以上这篇双向RNN:bidirectional_dynamic_rnn()函数的使用详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
玩转python爬虫之URLError异常处理
Feb 17 Python
python的变量与赋值详细分析
Nov 08 Python
Python数据结构与算法之常见的分配排序法示例【桶排序与基数排序】
Dec 15 Python
python验证码识别实例代码
Feb 03 Python
Python+PyQt5实现美剧爬虫可视工具的方法
Apr 25 Python
django之对FileField字段的upload_to的设定方法
Jul 28 Python
selenium+PhantomJS爬取豆瓣读书
Aug 26 Python
Flask框架请求钩子与request请求对象用法实例分析
Nov 07 Python
python+Django+pycharm+mysql 搭建首个web项目详解
Nov 29 Python
Django restframework 框架认证、权限、限流用法示例
Dec 21 Python
Django+Celery实现定时任务的示例
Jun 23 Python
python中数组和列表的简单实例
Mar 25 Python
关于tf.reverse_sequence()简述
Jan 20 #Python
tensorflow使用range_input_producer多线程读取数据实例
Jan 20 #Python
浅谈tensorflow中Dataset图片的批量读取及维度的操作详解
Jan 20 #Python
使用tensorflow DataSet实现高效加载变长文本输入
Jan 20 #Python
python机器学习库xgboost的使用
Jan 20 #Python
python 爬取马蜂窝景点翻页文字评论的实现
Jan 20 #Python
tensorflow-gpu安装的常见问题及解决方案
Jan 20 #Python
You might like
浅析PHP原理之变量分离/引用(Variables Separation)
2013/08/09 PHP
使用淘宝IP库获取用户ip地理位置
2013/10/27 PHP
PHP获取数组的键与值方法小结
2015/06/13 PHP
PHP内核探索之解释器的执行过程
2015/12/22 PHP
php插入mysql数据返回id的方法
2018/05/31 PHP
javascript 数组的方法集合
2008/06/05 Javascript
jquery下操作HTML控件的实现代码
2010/01/12 Javascript
javascript椭圆旋转相册实现代码
2012/01/16 Javascript
JQuery记住用户名密码实现下次自动登录功能
2015/04/27 Javascript
Bootstrap超大屏幕的实现代码
2017/03/22 Javascript
文本溢出插件jquery.dotdotdot.js使用方法详解
2017/06/22 jQuery
解决jquery appaend元素中id绑定事件失效的问题
2017/09/12 jQuery
JavaScript定义及输出螺旋矩阵的方法详解
2017/12/01 Javascript
JS中双击和单击事件冲突的解决方法
2018/04/09 Javascript
Vue拖拽组件开发实例详解
2018/05/11 Javascript
每天学点Vue源码之vm.$mount挂载函数
2019/03/11 Javascript
vue.js实现简单的计算器功能
2020/02/22 Javascript
[03:18]DOTA2亚洲邀请赛小组赛第一日 RECAP赛事回顾
2015/01/30 DOTA
[00:37]2016完美“圣”典风云人物:rOtk宣传片
2016/12/09 DOTA
Python实现的购物车功能示例
2018/02/11 Python
mac PyCharm添加Python解释器及添加package路径的方法
2018/10/29 Python
pip安装py_zipkin时提示的SSL问题对应
2018/12/29 Python
python如何获取当前文件夹下所有文件名详解
2019/01/25 Python
使用Windows批处理和WMI设置Python的环境变量方法
2019/08/14 Python
Django 限制访问频率的思路详解
2019/12/24 Python
Python异步编程之协程任务的调度操作实例分析
2020/02/01 Python
浅谈图像处理中掩膜(mask)的意义
2020/02/19 Python
国家地理在线商店:Shop National Geographic
2018/06/30 全球购物
伊莱克斯(Electrolux)俄罗斯网上商店:瑞典家用电器品牌
2021/01/23 全球购物
八年级历史教学反思
2014/01/10 职场文书
员工培训邀请函
2014/01/11 职场文书
优秀工会工作者事迹材料
2014/06/02 职场文书
租赁协议书
2015/01/27 职场文书
学生乘坐校车安全责任书
2015/05/11 职场文书
闪闪的红星观后感
2015/06/08 职场文书
python 管理系统实现mysql交互的示例代码
2021/12/06 Python