关于Tensorflow 模型持久化详解


Posted in Python onFebruary 12, 2020

当我们使用 tensorflow 训练神经网络的时候,模型持久化对于我们的训练有很重要的作用。

如果我们的神经网络比较复杂,训练数据比较多,那么我们的模型训练就会耗时很长,如果在训练过程中出现某些不可预计的错误,导致我们的训练意外终止,那么我们将会前功尽弃。为了避免这个问题,我们就可以通过模型持久化(保存为CKPT格式)来暂存我们训练过程中的临时数据。

如果我们训练的模型需要提供给用户做离线的预测,那么我们只需要前向传播的过程,只需得到预测值就可以了,这个时候我们就可以通过模型持久化(保存为PB格式)只保存前向传播中需要的变量并将变量的值固定下来,这个时候只需用户提供一个输入,我们就可以通过模型得到一个输出给用户。

保存为 CKPT 格式的模型

定义运算过程

声明并得到一个 Saver

通过 Saver.save 保存模型

# coding=UTF-8 支持中文编码格式
import tensorflow as tf
import shutil
import os.path

MODEL_DIR = "model/ckpt"
MODEL_NAME = "model.ckpt"

# if os.path.exists(MODEL_DIR): 删除目录
#   shutil.rmtree(MODEL_DIR)
if not tf.gfile.Exists(MODEL_DIR): #创建目录
  tf.gfile.MakeDirs(MODEL_DIR)

#下面的过程你可以替换成CNN、RNN等你想做的训练过程,这里只是简单的一个计算公式
input_holder = tf.placeholder(tf.float32, shape=[1], name="input_holder") #输入占位符,并指定名字,后续模型读取可能会用的
W1 = tf.Variable(tf.constant(5.0, shape=[1]), name="W1")
B1 = tf.Variable(tf.constant(1.0, shape=[1]), name="B1")
_y = (input_holder * W1) + B1
predictions = tf.greater(_y, 50, name="predictions") #输出节点名字,后续模型读取会用到,比50大返回true,否则返回false

init = tf.global_variables_initializer()
saver = tf.train.Saver() #声明saver用于保存模型

with tf.Session() as sess:
  sess.run(init)
  print "predictions : ", sess.run(predictions, feed_dict={input_holder: [10.0]}) #输入一个数据测试一下
  saver.save(sess, os.path.join(MODEL_DIR, MODEL_NAME)) #模型保存
  print("%d ops in the final graph." % len(tf.get_default_graph().as_graph_def().node)) #得到当前图有几个操作节点

for op in tf.get_default_graph().get_operations(): #打印模型节点信息
  print (op.name, op.values())

运行后生成的文件如下:

关于Tensorflow 模型持久化详解

checkpoint : 记录目录下所有模型文件列表
ckpt.data : 保存模型中每个变量的取值
ckpt.meta : 保存整个计算图的结构

保存为 PB 格式模型

定义运算过程
通过 get_default_graph().as_graph_def() 得到当前图的计算节点信息
通过 graph_util.convert_variables_to_constants 将相关节点的values固定
通过 tf.gfile.GFile 进行模型持久化

# coding=UTF-8
import tensorflow as tf
import shutil
import os.path
from tensorflow.python.framework import graph_util


# MODEL_DIR = "model/pb"
# MODEL_NAME = "addmodel.pb"

# if os.path.exists(MODEL_DIR): 删除目录
#   shutil.rmtree(MODEL_DIR)
#
# if not tf.gfile.Exists(MODEL_DIR): #创建目录
#   tf.gfile.MakeDirs(MODEL_DIR)

output_graph = "model/pb/add_model.pb"

#下面的过程你可以替换成CNN、RNN等你想做的训练过程,这里只是简单的一个计算公式
input_holder = tf.placeholder(tf.float32, shape=[1], name="input_holder")
W1 = tf.Variable(tf.constant(5.0, shape=[1]), name="W1")
B1 = tf.Variable(tf.constant(1.0, shape=[1]), name="B1")
_y = (input_holder * W1) + B1
# predictions = tf.greater(_y, 50, name="predictions") #比50大返回true,否则返回false
predictions = tf.add(_y, 10,name="predictions") #做一个加法运算

init = tf.global_variables_initializer()

with tf.Session() as sess:
  sess.run(init)
  print "predictions : ", sess.run(predictions, feed_dict={input_holder: [10.0]})
  graph_def = tf.get_default_graph().as_graph_def() #得到当前的图的 GraphDef 部分,通过这个部分就可以完成重输入层到输出层的计算过程

  output_graph_def = graph_util.convert_variables_to_constants( # 模型持久化,将变量值固定
    sess,
    graph_def,
    ["predictions"] #需要保存节点的名字
  )
  with tf.gfile.GFile(output_graph, "wb") as f: # 保存模型
    f.write(output_graph_def.SerializeToString()) # 序列化输出
  print("%d ops in the final graph." % len(output_graph_def.node))
  print (predictions)

# for op in tf.get_default_graph().get_operations(): 打印模型节点信息
#   print (op.name)

*GraphDef:这个属性记录了tensorflow计算图上节点的信息。

关于Tensorflow 模型持久化详解

add_model.pb : 里面保存了重输入层到输出层这个计算过程的计算图和相关变量的值,我们得到这个模型后传入一个输入,既可以得到一个预估的输出值

CKPT 转换成 PB格式

通过传入 CKPT 模型的路径得到模型的图和变量数据
通过 import_meta_graph 导入模型中的图
通过 saver.restore 从模型中恢复图中各个变量的数据
通过 graph_util.convert_variables_to_constants 将模型持久化

# coding=UTF-8
import tensorflow as tf
import os.path
import argparse
from tensorflow.python.framework import graph_util

MODEL_DIR = "model/pb"
MODEL_NAME = "frozen_model.pb"

if not tf.gfile.Exists(MODEL_DIR): #创建目录
  tf.gfile.MakeDirs(MODEL_DIR)

def freeze_graph(model_folder):
  checkpoint = tf.train.get_checkpoint_state(model_folder) #检查目录下ckpt文件状态是否可用
  input_checkpoint = checkpoint.model_checkpoint_path #得ckpt文件路径
  output_graph = os.path.join(MODEL_DIR, MODEL_NAME) #PB模型保存路径

  output_node_names = "predictions" #原模型输出操作节点的名字
  saver = tf.train.import_meta_graph(input_checkpoint + '.meta', clear_devices=True) #得到图、clear_devices :Whether or not to clear the device field for an `Operation` or `Tensor` during import.

  graph = tf.get_default_graph() #获得默认的图
  input_graph_def = graph.as_graph_def() #返回一个序列化的图代表当前的图

  with tf.Session() as sess:
    saver.restore(sess, input_checkpoint) #恢复图并得到数据

    print "predictions : ", sess.run("predictions:0", feed_dict={"input_holder:0": [10.0]}) # 测试读出来的模型是否正确,注意这里传入的是输出 和输入 节点的 tensor的名字,不是操作节点的名字

    output_graph_def = graph_util.convert_variables_to_constants( #模型持久化,将变量值固定
      sess,
      input_graph_def,
      output_node_names.split(",") #如果有多个输出节点,以逗号隔开
    )
    with tf.gfile.GFile(output_graph, "wb") as f: #保存模型
      f.write(output_graph_def.SerializeToString()) #序列化输出
    print("%d ops in the final graph." % len(output_graph_def.node)) #得到当前图有几个操作节点

    for op in graph.get_operations():
      print(op.name, op.values())

if __name__ == '__main__':
  parser = argparse.ArgumentParser()
  parser.add_argument("model_folder", type=str, help="input ckpt model dir") #命令行解析,help是提示符,type是输入的类型,
  # 这里运行程序时需要带上模型ckpt的路径,不然会报 error: too few arguments
  aggs = parser.parse_args()
  freeze_graph(aggs.model_folder)
  # freeze_graph("model/ckpt") #模型目录

以上这篇关于Tensorflow 模型持久化详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python操作json数据的一个简单例子
Apr 17 Python
Python实现屏幕截图的代码及函数详解
Oct 01 Python
Python使用openpyxl读写excel文件的方法
Jun 30 Python
Python 比较两个数组的元素的异同方法
Aug 17 Python
Python决策树和随机森林算法实例详解
Jan 30 Python
django 外键model的互相读取方法
Dec 15 Python
python字典的setdefault的巧妙用法
Aug 07 Python
解决python-docx打包之后找不到default.docx的问题
Feb 13 Python
python实现取余操作的简单实例
Aug 16 Python
python中@property的作用和getter setter的解释
Dec 22 Python
Python 调用C++封装的进一步探索交流
Mar 04 Python
手把手教你实现PyTorch的MNIST数据集
Jun 28 Python
Python qrcode 生成一个二维码的实例详解
Feb 12 #Python
python标准库sys和OS的函数使用方法与实例详解
Feb 12 #Python
python标准库os库的函数介绍
Feb 12 #Python
Tensorflow 1.0之后模型文件、权重数值的读取方式
Feb 12 #Python
Python django框架开发发布会签到系统(web开发)
Feb 12 #Python
Python计算公交发车时间的完整代码
Feb 12 #Python
详解Django3中直接添加Websockets方式
Feb 12 #Python
You might like
解析PHP生成静态html文件的三种方法
2013/06/18 PHP
PHP线程的内存回收问题
2016/07/08 PHP
Yii2汉字转拼音类的实例代码
2017/04/18 PHP
Yii支持多域名cors原理的实现
2018/12/05 PHP
动态加载iframe
2006/06/16 Javascript
超级强大的表单验证
2006/06/26 Javascript
jQuery 位置插件
2008/12/25 Javascript
jquery json 实例代码
2010/12/02 Javascript
JQuery的read函数与js的onload不同方式实现
2013/03/18 Javascript
javascript强大的日期函数代码分享
2013/09/04 Javascript
JavaScript动态创建link标签到head里的方法
2014/12/22 Javascript
jQuery及JS实现循环中暂停的方法
2015/02/02 Javascript
Javascript基础知识盲点总结之函数
2016/05/15 Javascript
封装的dialog插件 基于bootstrap模态对话框的简单扩展
2016/08/10 Javascript
常用原生js自定义函数总结
2016/11/20 Javascript
js实现做通讯录的索引滑动显示效果和滑动显示锚点效果
2017/02/18 Javascript
jQuery插件zTree实现的基本树与节点获取操作示例
2017/03/08 Javascript
AngularJS 中的数据源的循环输出
2017/10/12 Javascript
vue2.0 + ele的循环表单及验证字段方法
2018/09/18 Javascript
基于JavaScript的数据结构队列动画实现示例解析
2020/08/06 Javascript
Python类的基础入门知识
2008/11/24 Python
python模拟enum枚举类型的方法小结
2015/04/30 Python
Python实现检测文件MD5值的方法示例
2018/04/11 Python
python分块读取大数据,避免内存不足的方法
2018/12/10 Python
Python实现连接MySql数据库及增删改查操作详解
2019/04/16 Python
Django xadmin开启搜索功能的实现
2019/11/15 Python
python不使用for计算两组、多个矩形两两间的iou方式
2020/01/18 Python
Python-jenkins模块之folder相关操作介绍
2020/05/12 Python
浅谈Python中的继承
2020/06/19 Python
智能旅行箱:Horizn Studios
2018/04/30 全球购物
公务员年总结的自我评价
2013/10/25 职场文书
工程班组长岗位职责
2013/12/30 职场文书
项目建议书范文
2014/05/12 职场文书
本科毕业生自荐信
2014/05/26 职场文书
宣传工作经验材料
2014/06/02 职场文书
大学生操行评语大全
2014/12/31 职场文书