Tensorflow 合并通道及加载子模型的方法


Posted in Python onJuly 26, 2018

最近在使用Tensorflow 实现DNN网络时,遇到一些问题。目前网上关于Tensorflow的资料还比较少,现把问题和解决方法写出来,仅供参考。

(1)将两个子模型的输出合并到一个通道,例如同时连接到一个全连接层如图

Tensorflow 合并通道及加载子模型的方法

合并方法为 tf.concat()函数。此函数需要两个个参数 concat(0或1,[合并节点1,合并节点2] )。0 或 1 代表节点合并的方式:0 代表合并后列相同,行增加;1 代表合并后行相同,列增加。

上图所示合并方法为: X_20 = tf.concat(1, [X_top, X_down]);

(2)加载预训练好模型的部分参数。例如训练完成了一个五层网络,现在需要训练好一个七层网络,使用已训练好的五层网络参数初始化七层网络的前五层。

首先,五层网络保存模型时的参数变量名要和七层网络的需要初始化的参数变量名保持一致。

然后,定义加载指定变量名的 tf.train.Saver()。

例如:

Tensorflow 合并通道及加载子模型的方法

Saver在restore模型时就会只加载 W_fc1_I, W_fc2_I, b_fc1_I, b_fc2_I 这四个参数,并且初始化当前模型中变量名相同的变量。需要注意的是,其他参数也是需要初始化的,一种避免遗漏初始化变量的方法是首先使用 initialize_all_variables() 函数对所有参数进行初始化之后再调用 restore 函数初始化需要的部分参数。

此方法只是其中一种解决方法,仅供参考。

以上这篇Tensorflow 合并通道及加载子模型的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python批量修改文件后缀的方法
Jan 26 Python
Python httplib模块使用实例
Apr 11 Python
解析Python中while true的使用
Oct 13 Python
python正则表达式爬取猫眼电影top100
Feb 24 Python
pygame游戏之旅 计算游戏中躲过的障碍数量
Nov 20 Python
python IDLE 背景以及字体大小的修改方法
Jul 12 Python
Python3 itchat实现微信定时发送群消息的实例代码
Jul 12 Python
python3常用的数据清洗方法(小结)
Oct 31 Python
浅谈django 重载str 方法
May 19 Python
python中upper是做什么用的
Jul 20 Python
Python如何发送与接收大型数组
Aug 07 Python
python3将变量输入的简单实例
Aug 19 Python
解决tensorflow测试模型时NotFoundError错误的问题
Jul 26 #Python
tensorflow 恢复指定层与不同层指定不同学习率的方法
Jul 26 #Python
kaggle+mnist实现手写字体识别
Jul 26 #Python
解决tensorflow模型参数保存和加载的问题
Jul 26 #Python
解决tensorflow1.x版本加载saver.restore目录报错的问题
Jul 26 #Python
Flask web开发处理POST请求实现(登录案例)
Jul 26 #Python
基于tensorflow加载部分层的方法
Jul 26 #Python
You might like
由php if 想到的些问题
2008/03/22 PHP
简单PHP上传图片、删除图片实现代码
2010/05/12 PHP
php将fileterms函数返回的结果变成可读的形式
2011/04/21 PHP
PHP命名空间namespace的定义方法详解
2017/03/29 PHP
laravel http 自定义公共验证和响应的方法
2019/09/29 PHP
jquery图片上下tab切换效果
2011/03/18 Javascript
JQuery 1.6发布 性能提升,同时包含大量破坏性变更
2011/05/10 Javascript
Javascript中判断变量是数组还是对象(array还是object)
2013/08/14 Javascript
jQuery如何实现点击页面获得当前点击元素的id或其他信息
2014/01/09 Javascript
Jquery Ajax xmlhttp请求成功问题
2015/02/04 Javascript
js点击选择文本的方法
2015/02/09 Javascript
JavaScript中使用Callback控制流程介绍
2015/03/16 Javascript
学习JavaScript设计模式之装饰者模式
2016/01/19 Javascript
详解Matlab中 sort 函数用法
2016/03/20 Javascript
正则验证小数点后面只能有两位数的方法
2017/02/28 Javascript
ES6中箭头函数的定义与调用方式详解
2017/06/02 Javascript
JS跨域请求的问题解析
2018/12/03 Javascript
webpack4.0+vue2.0利用批处理生成前端单页或多页应用的方法
2019/06/28 Javascript
JS document form表单元素操作完整示例
2020/01/13 Javascript
vue 数据操作相关总结
2020/12/17 Vue.js
利用Tkinter和matplotlib两种方式画饼状图的实例
2017/11/06 Python
Python 使用PIL numpy 实现拼接图片的示例
2018/05/08 Python
小白入门篇使用Python搭建点击率预估模型
2018/10/12 Python
10分钟教你用Python实现微信自动回复功能
2018/11/28 Python
Pytorch加载部分预训练模型的参数实例
2019/08/18 Python
Python 项目转化为so文件实例
2019/12/23 Python
Python实现序列化及csv文件读取
2020/01/19 Python
Django如何继承AbstractUser扩展字段
2020/11/27 Python
python中Pexpect的工作流程实例讲解
2021/03/02 Python
俄罗斯披萨、寿司和面食送货到家服务:2 Берега
2019/12/15 全球购物
分别介绍一下Session Bean和Entity Bean
2015/03/13 面试题
玩具公司的创业计划书
2013/12/31 职场文书
女子职高个人自荐书
2014/02/01 职场文书
高效课堂标语
2014/06/26 职场文书
MySQL 四种连接和多表查询详解
2021/07/16 MySQL
Javascript中Microtask和Macrotask鲜为人知的知识点
2022/04/02 Javascript