TensorFlow入门使用 tf.train.Saver()保存模型


Posted in Python onApril 24, 2018

关于模型保存的一点心得

saver = tf.train.Saver(max_to_keep=3)

在定义 saver 的时候一般会定义最多保存模型的数量,一般来说,如果模型本身很大,我们需要考虑到硬盘大小。如果你需要在当前训练好的模型的基础上进行 fine-tune,那么尽可能多的保存模型,后继 fine-tune 不一定从最好的 ckpt 进行,因为有可能一下子就过拟合了。但是如果保存太多,硬盘也有压力呀。如果只想保留最好的模型,方法就是每次迭代到一定步数就在验证集上计算一次 accuracy 或者 f1 值,如果本次结果比上次好才保存新的模型,否则没必要保存。

如果你想用不同 epoch 保存下来的模型进行融合的话,3到5 个模型已经足够了,假设这各融合的模型成为 M,而最好的一个单模型称为 m_best, 这样融合的话对于M 确实可以比 m_best 更好。但是如果拿这个模型和其他结构的模型再做融合的话,M 的效果并没有 m_best 好,因为M 相当于做了平均操作,减少了该模型的“特性”。

但是又有一种新的融合方式,就是利用调整学习率来获取多个局部最优点,就是当 loss 降不下了,保存一个 ckpt, 然后开大学习率继续寻找下一个局部最优点,然后用这些 ckpt 来做融合,还没试过,单模型肯定是有提高的,就是不知道还会不会出现上面再与其他模型融合就没提高的情况。

如何使用 tf.train.Saver() 来保存模型

之前一直出错,主要是因为坑爹的编码问题。所以要注意文件的路径绝对不不要出现什么中文呀。

import tensorflow as tf
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
sess = tf.Session(config=config)

# Create some variables.
v1 = tf.Variable([1.0, 2.3], name="v1")
v2 = tf.Variable(55.5, name="v2")

# Add an op to initialize the variables.
init_op = tf.global_variables_initializer()

# Add ops to save and restore all the variables.
saver = tf.train.Saver()

ckpt_path = './ckpt/test-model.ckpt'
# Later, launch the model, initialize the variables, do some work, save the
# variables to disk.
sess.run(init_op)
save_path = saver.save(sess, ckpt_path, global_step=1)
print("Model saved in file: %s" % save_path)

Model saved in file: ./ckpt/test-model.ckpt-1

注意,在上面保存完了模型之后。应该把 kernel restart 之后才能使用下面的模型导入。否则会因为两次命名 “v1” 而导致名字错误。

import tensorflow as tf
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
sess = tf.Session(config=config)

# Create some variables.
v1 = tf.Variable([11.0, 16.3], name="v1")
v2 = tf.Variable(33.5, name="v2")

# Add ops to save and restore all the variables.
saver = tf.train.Saver()

# Later, launch the model, use the saver to restore variables from disk, and
# do some work with the model.
# Restore variables from disk.
ckpt_path = './ckpt/test-model.ckpt'
saver.restore(sess, ckpt_path + '-'+ str(1))
print("Model restored.")

print sess.run(v1)
print sess.run(v2)

INFO:tensorflow:Restoring parameters from ./ckpt/test-model.ckpt-1
Model restored.
[ 1.          2.29999995]
55.5

导入模型之前,必须重新再定义一遍变量。

但是并不需要全部变量都重新进行定义,只定义我们需要的变量就行了。

也就是说,你所定义的变量一定要在 checkpoint 中存在;但不是所有在checkpoint中的变量,你都要重新定义。

import tensorflow as tf
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
sess = tf.Session(config=config)

# Create some variables.
v1 = tf.Variable([11.0, 16.3], name="v1")

# Add ops to save and restore all the variables.
saver = tf.train.Saver()

# Later, launch the model, use the saver to restore variables from disk, and
# do some work with the model.
# Restore variables from disk.
ckpt_path = './ckpt/test-model.ckpt'
saver.restore(sess, ckpt_path + '-'+ str(1))
print("Model restored.")

print sess.run(v1)

INFO:tensorflow:Restoring parameters from ./ckpt/test-model.ckpt-1
Model restored.
[ 1.          2.29999995]

tf.Saver([tensors_to_be_saved]) 中可以传入一个 list,把要保存的 tensors 传入,如果没有给定这个list的话,他会默认保存当前所有的 tensors。一般来说,tf.Saver 可以和 tf.variable_scope() 巧妙搭配,可以参考: 【迁移学习】往一个已经保存好的模型添加新的变量并进行微调

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Nov 15 Python
python getopt详解及简单实例
Dec 30 Python
tensorflow中next_batch的具体使用
Feb 02 Python
Python使用Dijkstra算法实现求解图中最短路径距离问题详解
May 16 Python
windows下python安装pip图文教程
May 25 Python
Python3.5面向对象与继承图文实例详解
Apr 24 Python
机器学习实战之knn算法pandas
Jun 22 Python
Python re 模块findall() 函数返回值展现方式解析
Aug 09 Python
python实现IOU计算案例
Apr 12 Python
Python下划线5种含义代码实例解析
Jul 10 Python
总结python多进程multiprocessing的相关知识
Jun 29 Python
Pygame Time时间控制的具体使用详解
Nov 17 Python
Python使用 Beanstalkd 做异步任务处理的方法
Apr 24 #Python
Windows上使用Python增加或删除权限的方法
Apr 24 #Python
python编写暴力破解zip文档程序的实例讲解
Apr 24 #Python
解决python删除文件的权限错误问题
Apr 24 #Python
python3+PyQt5实现自定义流体混合窗口部件
Apr 24 #Python
python3+PyQt5实现拖放功能
Apr 24 #Python
python3+PyQt5使用数据库表视图
Apr 24 #Python
You might like
PHP新手上路(九)
2006/10/09 PHP
PHP 根据IP地址控制访问的代码
2010/04/22 PHP
PHP带节点操作的无限分类实现方法详解
2016/11/09 PHP
对象的类型:本地对象(1)
2006/12/29 Javascript
javascript游戏开发之《三国志曹操传》零部件开发(五)可移动地图的实现
2013/01/23 Javascript
提取jquery的ready()方法单独使用示例
2014/03/25 Javascript
JavaScript函数模式详解
2014/11/07 Javascript
innerHTML属性,outerHTML属性,textContent属性,innerText属性区别详解
2015/03/13 Javascript
JavaScript实现信用卡校验方法
2015/04/07 Javascript
jQuery判断浏览器并动态调整select宽度的方法
2016/03/02 Javascript
Vue.js动态添加、删除选题的实例代码
2016/09/30 Javascript
JS 滚动事件window.onscroll与position:fixed写兼容IE6的回到顶部组件
2016/10/10 Javascript
jQuery编写网页版2048小游戏
2017/01/06 Javascript
总结几道关于Node.js的面试问题
2017/01/11 Javascript
JavaScript 字符串数字左补位,右补位,取固定长度,截位扩展函数代码
2017/03/25 Javascript
javascript+html5+css3自定义提示窗口
2017/06/21 Javascript
angular中的cookie读写方法
2017/08/02 Javascript
如何实现双向绑定mvvm的原理实现
2019/05/28 Javascript
Vue 中 a标签上href无法跳转的解决方式
2019/11/12 Javascript
javascript中可能用得到的全部的排序算法
2020/03/05 Javascript
解决VUEX的mapState/...mapState等取值问题
2020/07/24 Javascript
antd table按表格里的日期去排序操作
2020/11/17 Javascript
python监控网站运行异常并发送邮件的方法
2015/03/13 Python
对numpy中的where方法嵌套使用详解
2018/10/31 Python
Python实现的爬取百度文库功能示例
2019/02/16 Python
PyTorch基本数据类型(一)
2019/05/22 Python
python合并多个excel文件的示例
2020/09/23 Python
荷兰包包购物网站:The Little Green Bag
2018/03/17 全球购物
2014年寒假社会实践活动心得体会
2014/04/07 职场文书
中学生检讨书范文
2014/11/03 职场文书
资料员岗位职责
2015/02/10 职场文书
学校趣味运动会开幕词
2016/03/04 职场文书
高质量“欢迎词”
2019/04/03 职场文书
六年级作文之预言作文
2019/10/25 职场文书
Windows下redis下载、redis安装及使用教程
2021/06/02 Redis
Python序列化与反序列化相关知识总结
2021/06/08 Python