Tensorflow 合并通道及加载子模型的方法


Posted in Python onJuly 26, 2018

最近在使用Tensorflow 实现DNN网络时,遇到一些问题。目前网上关于Tensorflow的资料还比较少,现把问题和解决方法写出来,仅供参考。

(1)将两个子模型的输出合并到一个通道,例如同时连接到一个全连接层如图

Tensorflow 合并通道及加载子模型的方法

合并方法为 tf.concat()函数。此函数需要两个个参数 concat(0或1,[合并节点1,合并节点2] )。0 或 1 代表节点合并的方式:0 代表合并后列相同,行增加;1 代表合并后行相同,列增加。

上图所示合并方法为: X_20 = tf.concat(1, [X_top, X_down]);

(2)加载预训练好模型的部分参数。例如训练完成了一个五层网络,现在需要训练好一个七层网络,使用已训练好的五层网络参数初始化七层网络的前五层。

首先,五层网络保存模型时的参数变量名要和七层网络的需要初始化的参数变量名保持一致。

然后,定义加载指定变量名的 tf.train.Saver()。

例如:

Tensorflow 合并通道及加载子模型的方法

Saver在restore模型时就会只加载 W_fc1_I, W_fc2_I, b_fc1_I, b_fc2_I 这四个参数,并且初始化当前模型中变量名相同的变量。需要注意的是,其他参数也是需要初始化的,一种避免遗漏初始化变量的方法是首先使用 initialize_all_variables() 函数对所有参数进行初始化之后再调用 restore 函数初始化需要的部分参数。

此方法只是其中一种解决方法,仅供参考。

以上这篇Tensorflow 合并通道及加载子模型的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中查看变量内存地址的方法
May 05 Python
分析python切片原理和方法
Dec 19 Python
解决nohup重定向python输出到文件不成功的问题
May 11 Python
Python3正则匹配re.split,re.finditer及re.findall函数用法详解
Jun 11 Python
python得到windows自启动列表的方法
Oct 14 Python
python版本五子棋的实现代码
Dec 11 Python
python 实现提取某个索引中某个时间段的数据方法
Feb 01 Python
python实现微信自动回复机器人功能
Jul 11 Python
Python字符串中添加、插入特定字符的方法
Sep 10 Python
在python中求分布函数相关的包实例
Apr 15 Python
Python中的特殊方法以及应用详解
Sep 20 Python
python实现视频压缩功能
Dec 18 Python
解决tensorflow测试模型时NotFoundError错误的问题
Jul 26 #Python
tensorflow 恢复指定层与不同层指定不同学习率的方法
Jul 26 #Python
kaggle+mnist实现手写字体识别
Jul 26 #Python
解决tensorflow模型参数保存和加载的问题
Jul 26 #Python
解决tensorflow1.x版本加载saver.restore目录报错的问题
Jul 26 #Python
Flask web开发处理POST请求实现(登录案例)
Jul 26 #Python
基于tensorflow加载部分层的方法
Jul 26 #Python
You might like
php实现smarty模板无限极分类的方法
2015/12/07 PHP
总结PHP中数值计算的注意事项
2016/08/14 PHP
PHP 断点续传实例详解
2017/11/11 PHP
Yii框架 session 数据库存储操作方法示例
2019/11/18 PHP
javascript String 的扩展方法集合
2008/06/01 Javascript
CodeMirror2 IE7/IE8 下面未知运行时错误的解决方法
2012/03/29 Javascript
js怎么终止程序return不行换jfslk
2013/05/30 Javascript
javascript初学者常用技巧
2014/09/02 Javascript
JS实现跟随鼠标的链接文字提示框效果
2015/08/06 Javascript
ajax跨域调用webservice的实现代码
2016/05/09 Javascript
详解angular2采用自定义指令(Directive)方式加载jquery插件
2017/02/09 Javascript
微信小程序引用iconfont图标的方法
2018/10/22 Javascript
详解js静态检查工具eslint配置文件
2018/11/23 Javascript
js打开word文档预览操作示例【不是下载】
2019/05/23 Javascript
微信小程序实现注册登录功能(表单校验、错误提示)
2019/12/10 Javascript
卸载vue2.0并升级vue_cli3.0的实例讲解
2020/02/16 Javascript
javascript设计模式 ? 建造者模式原理与应用实例分析
2020/04/10 Javascript
[02:04]2014DOTA2国际邀请赛 BBC小组赛第三天总结
2014/07/12 DOTA
[06:43]DAC2018 4.5 SOLO赛 Maybe vs Paparazi
2018/04/06 DOTA
[01:11]steam端dota2实名认证操作流程视频
2021/03/11 DOTA
python正则匹配抓取豆瓣电影链接和评论代码分享
2013/12/27 Python
Python实现简单的语音识别系统
2017/12/13 Python
使用TensorFlow实现二分类的方法示例
2019/02/05 Python
如何使用python爬虫爬取要登陆的网站
2019/07/12 Python
Anaconda+spyder+pycharm的pytorch配置详解(GPU)
2020/10/18 Python
python中yield的用法详解
2021/01/13 Python
什么是CSS3 HSLA色彩模式?HSLA模拟渐变色条
2016/04/26 HTML / CSS
Parfume Klik丹麦:香水网上商店
2018/07/10 全球购物
介绍一下linux的文件系统
2012/03/20 面试题
应届生妇产科护士求职信
2013/10/27 职场文书
公交公司毕业生求职信
2014/02/15 职场文书
法定代表人授权委托书范文
2014/08/02 职场文书
2015教师节师德演讲稿
2015/03/19 职场文书
写给同事的离职感言
2015/08/04 职场文书
《游戏公平》教学反思
2016/02/20 职场文书
使用pandas模块实现数据的标准化操作
2021/05/14 Python