关于Tensorflow 模型持久化详解


Posted in Python onFebruary 12, 2020

当我们使用 tensorflow 训练神经网络的时候,模型持久化对于我们的训练有很重要的作用。

如果我们的神经网络比较复杂,训练数据比较多,那么我们的模型训练就会耗时很长,如果在训练过程中出现某些不可预计的错误,导致我们的训练意外终止,那么我们将会前功尽弃。为了避免这个问题,我们就可以通过模型持久化(保存为CKPT格式)来暂存我们训练过程中的临时数据。

如果我们训练的模型需要提供给用户做离线的预测,那么我们只需要前向传播的过程,只需得到预测值就可以了,这个时候我们就可以通过模型持久化(保存为PB格式)只保存前向传播中需要的变量并将变量的值固定下来,这个时候只需用户提供一个输入,我们就可以通过模型得到一个输出给用户。

保存为 CKPT 格式的模型

定义运算过程

声明并得到一个 Saver

通过 Saver.save 保存模型

# coding=UTF-8 支持中文编码格式
import tensorflow as tf
import shutil
import os.path

MODEL_DIR = "model/ckpt"
MODEL_NAME = "model.ckpt"

# if os.path.exists(MODEL_DIR): 删除目录
#   shutil.rmtree(MODEL_DIR)
if not tf.gfile.Exists(MODEL_DIR): #创建目录
  tf.gfile.MakeDirs(MODEL_DIR)

#下面的过程你可以替换成CNN、RNN等你想做的训练过程,这里只是简单的一个计算公式
input_holder = tf.placeholder(tf.float32, shape=[1], name="input_holder") #输入占位符,并指定名字,后续模型读取可能会用的
W1 = tf.Variable(tf.constant(5.0, shape=[1]), name="W1")
B1 = tf.Variable(tf.constant(1.0, shape=[1]), name="B1")
_y = (input_holder * W1) + B1
predictions = tf.greater(_y, 50, name="predictions") #输出节点名字,后续模型读取会用到,比50大返回true,否则返回false

init = tf.global_variables_initializer()
saver = tf.train.Saver() #声明saver用于保存模型

with tf.Session() as sess:
  sess.run(init)
  print "predictions : ", sess.run(predictions, feed_dict={input_holder: [10.0]}) #输入一个数据测试一下
  saver.save(sess, os.path.join(MODEL_DIR, MODEL_NAME)) #模型保存
  print("%d ops in the final graph." % len(tf.get_default_graph().as_graph_def().node)) #得到当前图有几个操作节点

for op in tf.get_default_graph().get_operations(): #打印模型节点信息
  print (op.name, op.values())

运行后生成的文件如下:

关于Tensorflow 模型持久化详解

checkpoint : 记录目录下所有模型文件列表
ckpt.data : 保存模型中每个变量的取值
ckpt.meta : 保存整个计算图的结构

保存为 PB 格式模型

定义运算过程
通过 get_default_graph().as_graph_def() 得到当前图的计算节点信息
通过 graph_util.convert_variables_to_constants 将相关节点的values固定
通过 tf.gfile.GFile 进行模型持久化

# coding=UTF-8
import tensorflow as tf
import shutil
import os.path
from tensorflow.python.framework import graph_util


# MODEL_DIR = "model/pb"
# MODEL_NAME = "addmodel.pb"

# if os.path.exists(MODEL_DIR): 删除目录
#   shutil.rmtree(MODEL_DIR)
#
# if not tf.gfile.Exists(MODEL_DIR): #创建目录
#   tf.gfile.MakeDirs(MODEL_DIR)

output_graph = "model/pb/add_model.pb"

#下面的过程你可以替换成CNN、RNN等你想做的训练过程,这里只是简单的一个计算公式
input_holder = tf.placeholder(tf.float32, shape=[1], name="input_holder")
W1 = tf.Variable(tf.constant(5.0, shape=[1]), name="W1")
B1 = tf.Variable(tf.constant(1.0, shape=[1]), name="B1")
_y = (input_holder * W1) + B1
# predictions = tf.greater(_y, 50, name="predictions") #比50大返回true,否则返回false
predictions = tf.add(_y, 10,name="predictions") #做一个加法运算

init = tf.global_variables_initializer()

with tf.Session() as sess:
  sess.run(init)
  print "predictions : ", sess.run(predictions, feed_dict={input_holder: [10.0]})
  graph_def = tf.get_default_graph().as_graph_def() #得到当前的图的 GraphDef 部分,通过这个部分就可以完成重输入层到输出层的计算过程

  output_graph_def = graph_util.convert_variables_to_constants( # 模型持久化,将变量值固定
    sess,
    graph_def,
    ["predictions"] #需要保存节点的名字
  )
  with tf.gfile.GFile(output_graph, "wb") as f: # 保存模型
    f.write(output_graph_def.SerializeToString()) # 序列化输出
  print("%d ops in the final graph." % len(output_graph_def.node))
  print (predictions)

# for op in tf.get_default_graph().get_operations(): 打印模型节点信息
#   print (op.name)

*GraphDef:这个属性记录了tensorflow计算图上节点的信息。

关于Tensorflow 模型持久化详解

add_model.pb : 里面保存了重输入层到输出层这个计算过程的计算图和相关变量的值,我们得到这个模型后传入一个输入,既可以得到一个预估的输出值

CKPT 转换成 PB格式

通过传入 CKPT 模型的路径得到模型的图和变量数据
通过 import_meta_graph 导入模型中的图
通过 saver.restore 从模型中恢复图中各个变量的数据
通过 graph_util.convert_variables_to_constants 将模型持久化

# coding=UTF-8
import tensorflow as tf
import os.path
import argparse
from tensorflow.python.framework import graph_util

MODEL_DIR = "model/pb"
MODEL_NAME = "frozen_model.pb"

if not tf.gfile.Exists(MODEL_DIR): #创建目录
  tf.gfile.MakeDirs(MODEL_DIR)

def freeze_graph(model_folder):
  checkpoint = tf.train.get_checkpoint_state(model_folder) #检查目录下ckpt文件状态是否可用
  input_checkpoint = checkpoint.model_checkpoint_path #得ckpt文件路径
  output_graph = os.path.join(MODEL_DIR, MODEL_NAME) #PB模型保存路径

  output_node_names = "predictions" #原模型输出操作节点的名字
  saver = tf.train.import_meta_graph(input_checkpoint + '.meta', clear_devices=True) #得到图、clear_devices :Whether or not to clear the device field for an `Operation` or `Tensor` during import.

  graph = tf.get_default_graph() #获得默认的图
  input_graph_def = graph.as_graph_def() #返回一个序列化的图代表当前的图

  with tf.Session() as sess:
    saver.restore(sess, input_checkpoint) #恢复图并得到数据

    print "predictions : ", sess.run("predictions:0", feed_dict={"input_holder:0": [10.0]}) # 测试读出来的模型是否正确,注意这里传入的是输出 和输入 节点的 tensor的名字,不是操作节点的名字

    output_graph_def = graph_util.convert_variables_to_constants( #模型持久化,将变量值固定
      sess,
      input_graph_def,
      output_node_names.split(",") #如果有多个输出节点,以逗号隔开
    )
    with tf.gfile.GFile(output_graph, "wb") as f: #保存模型
      f.write(output_graph_def.SerializeToString()) #序列化输出
    print("%d ops in the final graph." % len(output_graph_def.node)) #得到当前图有几个操作节点

    for op in graph.get_operations():
      print(op.name, op.values())

if __name__ == '__main__':
  parser = argparse.ArgumentParser()
  parser.add_argument("model_folder", type=str, help="input ckpt model dir") #命令行解析,help是提示符,type是输入的类型,
  # 这里运行程序时需要带上模型ckpt的路径,不然会报 error: too few arguments
  aggs = parser.parse_args()
  freeze_graph(aggs.model_folder)
  # freeze_graph("model/ckpt") #模型目录

以上这篇关于Tensorflow 模型持久化详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python内置函数bin() oct()等实现进制转换
Dec 30 Python
跟老齐学Python之通过Python连接数据库
Oct 28 Python
Python实现PS图像调整颜色梯度效果示例
Jan 25 Python
Python3之简单搭建自带服务器的实例讲解
Jun 04 Python
详解Django中类视图使用装饰器的方式
Aug 12 Python
python使用folium库绘制地图点击框
Sep 21 Python
python数据结构学习之实现线性表的顺序
Sep 28 Python
Python Django实现layui风格+django分页功能的例子
Aug 29 Python
Pytorch基本变量类型FloatTensor与Variable用法
Jan 08 Python
Pandas将列表(List)转换为数据框(Dataframe)
Apr 24 Python
Python定时任务APScheduler原理及实例解析
May 30 Python
Python Request类源码实现方法及原理解析
Aug 17 Python
Python qrcode 生成一个二维码的实例详解
Feb 12 #Python
python标准库sys和OS的函数使用方法与实例详解
Feb 12 #Python
python标准库os库的函数介绍
Feb 12 #Python
Tensorflow 1.0之后模型文件、权重数值的读取方式
Feb 12 #Python
Python django框架开发发布会签到系统(web开发)
Feb 12 #Python
Python计算公交发车时间的完整代码
Feb 12 #Python
详解Django3中直接添加Websockets方式
Feb 12 #Python
You might like
PHP取二进制文件头快速判断文件类型的实现代码
2013/08/05 PHP
PHP实现扎金花游戏之大小比赛的方法
2015/03/10 PHP
php实现在多维数组中查找特定value的方法
2015/07/29 PHP
PHP通过GD库实现验证码功能示例
2019/02/23 PHP
JAVASCRIPT对象及属性
2007/02/13 Javascript
JQuery 动画卷页 返回顶部 动画特效(兼容Chrome)
2010/02/15 Javascript
JS图片浏览组件PhotoLook的公开属性方法介绍和进阶实例代码
2010/11/09 Javascript
js 距离某一时间点时间是多少实现代码
2013/10/14 Javascript
三种动态加载js的jquery实例代码另附去除js方法
2014/04/30 Javascript
深入理解JavaScript中的箭头函数
2015/07/28 Javascript
基于JavaScript实现移动端点击图片查看大图点击大图隐藏
2015/11/04 Javascript
js中小数向上取整数,向下取整数,四舍五入取整数的实现(必看篇)
2017/02/13 Javascript
Windows下快速搭建NodeJS本地服务器的步骤
2017/08/09 NodeJs
深入理解js A*寻路算法原理与具体实现过程
2018/12/13 Javascript
three.js实现炫酷的全景3D重力感应
2018/12/30 Javascript
微信小程序性能优化之checkSession的使用
2019/03/06 Javascript
原生js实现trigger方法示例代码
2019/05/22 Javascript
[01:19:11]Ti4 循环赛第二日 NaVi.us vs iG
2014/07/11 DOTA
Python读写unicode文件的方法
2015/07/10 Python
python爬取m3u8连接的视频
2018/02/28 Python
Python实现的绘制三维双螺旋线图形功能示例
2018/06/23 Python
Python中存取文件的4种不同操作
2018/07/02 Python
python scatter散点图用循环分类法加图例
2019/03/19 Python
Python封装成可带参数的EXE安装包实例
2019/08/24 Python
关于Numpy数据类型对象(dtype)使用详解
2019/11/27 Python
python dict乱码如何解决
2020/06/07 Python
使用Keras 实现查看model weights .h5 文件的内容
2020/06/09 Python
CSS3 Columns分列式布局方法简介
2014/05/03 HTML / CSS
介绍一下Prototype的$()函数,$F()函数,$A()函数都是什么作用?
2014/03/05 面试题
迷你西餐厅创业计划书范文
2013/12/31 职场文书
信电学院毕业生自荐书
2014/05/24 职场文书
大学生入党积极分子自我评价
2014/09/20 职场文书
2015年学生管理工作总结
2015/05/26 职场文书
家属联谊会致辞
2015/07/31 职场文书
保安辞职申请书应该怎么写?
2019/07/15 职场文书
python可视化大屏库big_screen示例详解
2021/11/23 Python