tensorflow实战笔记（19）----使用freeze_graph.py将ckpt转为pb文件

时间  2021-02-26
标签 node python git 网络 函数 学习 测试 url spa .net 栏目 Python 繁體版
原文   原文链接

1、做用：

https://blog.csdn.net/yjl9122/article/details/78341689node

这节是关于tensorflow的Freezing，字面意思是冷冻，可理解为整合合并；整合什么呢，就是将模型文件和权重文件整合合并为一个文件，主要用途是便于发布。
官方解释可参考：https://www.tensorflow.org/extend/tool_developers/#freezing
这里我按个人理解翻译下，不对的地方请指正：
有一点令咱们为比较困惑的是，tensorflow在训练过程当中，一般不会将权重数据保存的格式文件里（这里我理解是模型文件），反而是分开保存在一个叫checkpoint的检查点文件里，当初始化时，再经过模型文件里的变量Op节点来从checkoupoint文件读取数据并初始化变量。这种模型和权重数据分开保存的状况，使得发布产品时不是那么方便，因此便有了freeze_graph.py脚本文件用来将这两文件整合合并成一个文件。
freeze_graph.py是怎么作的呢？首行它先加载模型文件，再从checkpoint文件读取权重数据初始化到模型里的权重变量，再将权重变量转换成权重 常量 （由于 常量 能随模型一块儿保存在同一个文件里），而后再经过指定的输出节点将没用于输出推理的Op节点从图中剥离掉，再从新保存到指定的文件里（用write_graphdef或Saver）

文件目录：tensorflow/python/tools/free_graph.py
测试文件：tensorflow/python/tools/free_graph_test.py 这个测试文件颇有学习价值
参数：
总共有11个参数，一个个介绍下(必选： 表示必须有值；可选： 表示能够为空)：
一、input_graph：（必选）模型文件，能够是二进制的pb文件，或文本的meta文件，用input_binary来指定区分（见下面说明）
二、input_saver：（可选）Saver解析器。保存模型和权限时，Saver也能够自身序列化保存，以便在加载时应用合适的版本。主要用于版本不兼容时使用。能够为空，为空时用当前版本的Saver。
三、input_binary：（可选）配合input_graph用，为true时，input_graph为二进制，为false时，input_graph为文件。默认False
四、input_checkpoint：（必选）检查点数据文件。训练时，给Saver用于保存权重、偏置等变量值。这时用于模型恢复变量值。
五、output_node_names：（必选）输出节点的名字，有多个时用逗号分开。用于指定输出节点，将没有在输出线上的其它节点剔除。
六、restore_op_name：（可选）从模型恢复节点的名字。升级版中已弃用。默认：save/restore_all
七、filename_tensor_name：（可选）已弃用。默认：save/Const:0
八、output_graph：（必选）用来保存整合后的模型输出文件。
九、clear_devices：（可选），默认True。指定是否清除训练时节点指定的运算设备（如cpu、gpu、tpu。cpu是默认）
十、initializer_nodes：（可选）默认空。权限加载后，可经过此参数来指定须要初始化的节点，用逗号分隔多个节点名字。
十一、variable_names_blacklist：（可先）默认空。变量黑名单，用于指定不用恢复值的变量，用逗号分隔多个变量名字。
用法：
例：python tensorflow/python/tools/free_graph.py \
–input_graph=some_graph_def.pb \ 注意：这里的pb文件是用tf.train.write_graph方法保存的
–input_checkpoint=model.ckpt.1001 \ 注意：这里如果r12以上的版本，只需给.data-00000….前面的文件名，如：model.ckpt.1001.data-00000-of-00001，只需写model.ckpt.1001
–output_graph=/tmp/frozen_graph.pb
–output_node_names=softmax

另外，若是模型文件是.meta格式的，也就是说用saver.Save方法和checkpoint一块儿生成的元模型文件，free_graph.py不适用，但能够改造下：
一、copy free_graph.py为free_graph_meta.py
二、修改free_graph.py，导入meta_graph：from tensorflow.python.framework import meta_graph
三、将91行到97行换成：input_graph_def = meta_graph.read_meta_graph_file(input_graph).graph_def

这样改便可加载meta文件



































python

2、代码：

https://blog.csdn.net/u012426298/article/details/85935946git

两步：网络

CKPT 转换成 PB格式函数

pb模型预测学习

一、CKPT 转换成 PB格式

 将CKPT 转换成 PB格式的文件的过程可简述以下：测试

经过传入 CKPT 模型的路径获得模型的图和变量数据
经过 import_meta_graph 导入模型中的图
经过 saver.restore 从模型中恢复图中各个变量的数据
经过 graph_util.convert_variables_to_constants 将模型持久化【变成常量，这样才能将变量和模型图一块儿存储】
 下面的CKPT 转换成 PB格式例子，是我训练GoogleNet InceptionV3模型保存的ckpt转pb文件的例子，训练过程可参考博客：《使用本身的数据集训练GoogLenet InceptionNet V1 V2 V3模型（TensorFlow）》：



url

def freeze_graph(input_checkpoint,output_graph): ''' :param input_checkpoint: :param output_graph: PB模型保存路径 :return: '''
        # checkpoint = tf.train.get_checkpoint_state(model_folder) #检查目录下ckpt文件状态是否可用
        # input_checkpoint = checkpoint.model_checkpoint_path #得ckpt文件路径
     
        # 指定输出的节点名称,该节点名称必须是原模型中存在的节点
        output_node_names = "InceptionV3/Logits/SpatialSqueeze" saver = tf.train.import_meta_graph(input_checkpoint + '.meta', clear_devices=True) graph = tf.get_default_graph() # 得到默认的图
        input_graph_def = graph.as_graph_def()  # 返回一个序列化的图表明当前的图
 with tf.Session() as sess: saver.restore(sess, input_checkpoint) #恢复图并获得数据
            output_graph_def = graph_util.convert_variables_to_constants(  # 模型持久化，将变量值固定
                sess=sess, input_graph_def=input_graph_def,# 等于:sess.graph_def
                output_node_names=output_node_names.split(","))# 若是有多个输出节点，以逗号隔开
 with tf.gfile.GFile(output_graph, "wb") as f: #保存模型
                f.write(output_graph_def.SerializeToString()) #序列化输出
            print("%d ops in the final graph." % len(output_graph_def.node)) #获得当前图有几个操做节点
     
            # for op in graph.get_operations():
            # print(op.name, op.values())

说明：spa

一、函数freeze_graph中，最重要的就是要肯定“指定输出的节点名称”，这个节点名称必须是原模型中存在的节点，对于freeze操做，咱们须要定义输出结点的名字。由于网络实际上是比较复杂的，定义了输出结点的名字，那么freeze的时候就只把输出该结点所须要的子图都固化下来，其余无关的就舍弃掉。由于咱们freeze模型的目的是接下来作预测。因此，output_node_names通常是网络模型最后一层输出的节点名称，或者说就是咱们预测的目标。.net

 二、在保存的时候，经过convert_variables_to_constants函数来指定须要固化的节点名称，对于鄙人的代码，须要固化的节点只有一个：output_node_names。注意节点名称与张量的名称的区别，例如：“input:0”是张量的名称，而"input"表示的是节点的名称。

三、源码中经过graph = tf.get_default_graph()得到默认的图，这个图就是由saver = tf.train.import_meta_graph(input_checkpoint + '.meta', clear_devices=True)恢复的图，所以必须先执行tf.train.import_meta_graph，再执行tf.get_default_graph() 。

四、实质上，咱们能够直接在恢复的会话sess中，得到默认的网络图，更简单的方法，以下：

def freeze_graph(input_checkpoint,output_graph): ''' :param input_checkpoint: :param output_graph: PB模型保存路径 :return: '''
    # checkpoint = tf.train.get_checkpoint_state(model_folder) #检查目录下ckpt文件状态是否可用
    # input_checkpoint = checkpoint.model_checkpoint_path #得ckpt文件路径
 
    # 指定输出的节点名称,该节点名称必须是原模型中存在的节点
    output_node_names = "InceptionV3/Logits/SpatialSqueeze" saver = tf.train.import_meta_graph(input_checkpoint + '.meta', clear_devices=True) with tf.Session() as sess: saver.restore(sess, input_checkpoint) #恢复图并获得数据
        output_graph_def = graph_util.convert_variables_to_constants(  # 模型持久化，将变量值固定
            sess=sess, input_graph_def=sess.graph_def,# 等于:sess.graph_def
            output_node_names=output_node_names.split(","))# 若是有多个输出节点，以逗号隔开
 with tf.gfile.GFile(output_graph, "wb") as f: #保存模型
            f.write(output_graph_def.SerializeToString()) #序列化输出
        print("%d ops in the final graph." % len(output_graph_def.node)) #获得当前图有几个操做节点

调用freeze_graph方法：

调用方法很简单，输入ckpt模型路径，输出pb模型的路径便可：

    # 输入ckpt模型路径
    input_checkpoint='models/model.ckpt-10000'
    # 输出pb模型的路径
    out_pb_path="models/pb/frozen_model.pb"
    # 调用freeze_graph将ckpt转为pb
    freeze_graph(input_checkpoint,out_pb_path)
五、上面以及说明：在保存的时候，经过convert_variables_to_constants函数来指定须要固化的节点名称，对于鄙人的代码，须要固化的节点只有一个：output_node_names。所以，其余网络模型，也能够经过简单的修改输出的节点名称output_node_names，将ckpt转为pb文件 。





       PS：注意节点名称，应包含name_scope 和 variable_scope命名空间，并用“/”隔开，如"InceptionV3/Logits/SpatialSqueeze"

二、 pb模型预测
    下面是预测pb模型的代码：

def freeze_graph_test(pb_path, image_path): ''' :param pb_path:pb文件的路径 :param image_path:测试图片的路径 :return: ''' with tf.Graph().as_default(): output_graph_def = tf.GraphDef() with open(pb_path, "rb") as f: output_graph_def.ParseFromString(f.read()) tf.import_graph_def(output_graph_def, name="") with tf.Session() as sess: sess.run(tf.global_variables_initializer()) # 定义输入的张量名称,对应网络结构的输入张量
            # input:0做为输入图像,keep_prob:0做为dropout的参数,测试时值为1,is_training:0训练参数
            input_image_tensor = sess.graph.get_tensor_by_name("input:0") input_keep_prob_tensor = sess.graph.get_tensor_by_name("keep_prob:0") input_is_training_tensor = sess.graph.get_tensor_by_name("is_training:0") # 定义输出的张量名称
            output_tensor_name = sess.graph.get_tensor_by_name("InceptionV3/Logits/SpatialSqueeze:0") # 读取测试图片
            im=read_image(image_path,resize_height,resize_width,normalization=True) im=im[np.newaxis,:] # 测试读出来的模型是否正确，注意这里传入的是输出和输入节点的tensor的名字，不是操做节点的名字
            # out=sess.run("InceptionV3/Logits/SpatialSqueeze:0", feed_dict={'input:0': im,'keep_prob:0':1.0,'is_training:0':False})
            out=sess.run(output_tensor_name, feed_dict={input_image_tensor: im, input_keep_prob_tensor:1.0, input_is_training_tensor:False}) print("out:{}".format(out)) score = tf.nn.softmax(out, name='pre') class_id = tf.argmax(score, 1) print "pre class_id:{}".format(sess.run(class_id))

说明：

一、与ckpt预测不一样的是，pb文件已经固化了网络模型结构，所以，即便不知道原训练模型（train）的源码，咱们也能够恢复网络图，并进行预测。恢复模型十分简单，只须要从读取的序列化数据中导入网络结构便可：

tf.import_graph_def(output_graph_def, name="")
二、但必须知道原网络模型的输入和输出的节点名称（固然了，传递数据时，是经过输入输出的张量来完成的）。因为InceptionV3模型的输入有三个节点，所以这里须要定义输入的张量名称，它对应网络结构的输入张量：

input_image_tensor = sess.graph.get_tensor_by_name("input:0")
input_keep_prob_tensor = sess.graph.get_tensor_by_name("keep_prob:0")
input_is_training_tensor = sess.graph.get_tensor_by_name("is_training:0")
以及输出的张量名称：


output_tensor_name = sess.graph.get_tensor_by_name("InceptionV3/Logits/SpatialSqueeze:0")
三、预测时，须要feed输入数据：

# 测试读出来的模型是否正确，注意这里传入的是输出和输入节点的tensor的名字，不是操做节点的名字
# out=sess.run("InceptionV3/Logits/SpatialSqueeze:0", feed_dict={'input:0': im,'keep_prob:0':1.0,'is_training:0':False})
out=sess.run(output_tensor_name, feed_dict={input_image_tensor: im,
                                            input_keep_prob_tensor:1.0,
                                            input_is_training_tensor:False})
 四、其余网络模型预测时，也能够经过修改输入和输出的张量的名称 。




       PS：注意张量的名称，即为：节点名称+“:”+“id号”，如"InceptionV3/Logits/SpatialSqueeze:0"

 

完整的CKPT 转换成 PB格式和预测的代码以下：

# -*-coding: utf-8 -*-
""" @Project: tensorflow_models_nets @File : convert_pb.py @Author : panjq @E-mail : pan_jinquan@163.com @Date : 2018-08-29 17:46:50 @info : -经过传入 CKPT 模型的路径获得模型的图和变量数据 -经过 import_meta_graph 导入模型中的图 -经过 saver.restore 从模型中恢复图中各个变量的数据 -经过 graph_util.convert_variables_to_constants 将模型持久化 """
 
import tensorflow as tf from create_tf_record import *
from tensorflow.python.framework import graph_util resize_height = 299  # 指定图片高度
resize_width = 299  # 指定图片宽度
depths = 3
 
def freeze_graph_test(pb_path, image_path): ''' :param pb_path:pb文件的路径 :param image_path:测试图片的路径 :return: ''' with tf.Graph().as_default(): output_graph_def = tf.GraphDef() with open(pb_path, "rb") as f: output_graph_def.ParseFromString(f.read()) tf.import_graph_def(output_graph_def, name="") with tf.Session() as sess: sess.run(tf.global_variables_initializer()) # 定义输入的张量名称,对应网络结构的输入张量
            # input:0做为输入图像,keep_prob:0做为dropout的参数,测试时值为1,is_training:0训练参数
            input_image_tensor = sess.graph.get_tensor_by_name("input:0") input_keep_prob_tensor = sess.graph.get_tensor_by_name("keep_prob:0") input_is_training_tensor = sess.graph.get_tensor_by_name("is_training:0") # 定义输出的张量名称
            output_tensor_name = sess.graph.get_tensor_by_name("InceptionV3/Logits/SpatialSqueeze:0") # 读取测试图片
            im=read_image(image_path,resize_height,resize_width,normalization=True) im=im[np.newaxis,:] # 测试读出来的模型是否正确，注意这里传入的是输出和输入节点的tensor的名字，不是操做节点的名字
            # out=sess.run("InceptionV3/Logits/SpatialSqueeze:0", feed_dict={'input:0': im,'keep_prob:0':1.0,'is_training:0':False})
            out=sess.run(output_tensor_name, feed_dict={input_image_tensor: im, input_keep_prob_tensor:1.0, input_is_training_tensor:False}) print("out:{}".format(out)) score = tf.nn.softmax(out, name='pre') class_id = tf.argmax(score, 1) print "pre class_id:{}".format(sess.run(class_id)) def freeze_graph(input_checkpoint,output_graph): ''' :param input_checkpoint: :param output_graph: PB模型保存路径 :return: '''
    # checkpoint = tf.train.get_checkpoint_state(model_folder) #检查目录下ckpt文件状态是否可用
    # input_checkpoint = checkpoint.model_checkpoint_path #得ckpt文件路径
 
    # 指定输出的节点名称,该节点名称必须是原模型中存在的节点
    output_node_names = "InceptionV3/Logits/SpatialSqueeze" saver = tf.train.import_meta_graph(input_checkpoint + '.meta', clear_devices=True) with tf.Session() as sess: saver.restore(sess, input_checkpoint) #恢复图并获得数据
        output_graph_def = graph_util.convert_variables_to_constants(  # 模型持久化，将变量值固定
            sess=sess, input_graph_def=sess.graph_def,# 等于:sess.graph_def
            output_node_names=output_node_names.split(","))# 若是有多个输出节点，以逗号隔开
 with tf.gfile.GFile(output_graph, "wb") as f: #保存模型
            f.write(output_graph_def.SerializeToString()) #序列化输出
        print("%d ops in the final graph." % len(output_graph_def.node)) #获得当前图有几个操做节点
 
        # for op in sess.graph.get_operations():
        # print(op.name, op.values())
 
def freeze_graph2(input_checkpoint,output_graph): ''' :param input_checkpoint: :param output_graph: PB模型保存路径 :return: '''
    # checkpoint = tf.train.get_checkpoint_state(model_folder) #检查目录下ckpt文件状态是否可用
    # input_checkpoint = checkpoint.model_checkpoint_path #得ckpt文件路径
 
    # 指定输出的节点名称,该节点名称必须是原模型中存在的节点
    output_node_names = "InceptionV3/Logits/SpatialSqueeze" saver = tf.train.import_meta_graph(input_checkpoint + '.meta', clear_devices=True) graph = tf.get_default_graph() # 得到默认的图
    input_graph_def = graph.as_graph_def()  # 返回一个序列化的图表明当前的图
 with tf.Session() as sess: saver.restore(sess, input_checkpoint) #恢复图并获得数据
        output_graph_def = graph_util.convert_variables_to_constants(  # 模型持久化，将变量值固定
            sess=sess, input_graph_def=input_graph_def,# 等于:sess.graph_def
            output_node_names=output_node_names.split(","))# 若是有多个输出节点，以逗号隔开
 with tf.gfile.GFile(output_graph, "wb") as f: #保存模型
            f.write(output_graph_def.SerializeToString()) #序列化输出
        print("%d ops in the final graph." % len(output_graph_def.node)) #获得当前图有几个操做节点
 
        # for op in graph.get_operations():
        # print(op.name, op.values())
 
 
if __name__ == '__main__': # 输入ckpt模型路径
    input_checkpoint='models/model.ckpt-10000'
    # 输出pb模型的路径
    out_pb_path="models/pb/frozen_model.pb"
    # 调用freeze_graph将ckpt转为pb
 freeze_graph(input_checkpoint,out_pb_path) # 测试pb模型
    image_path = 'test_image/animal.jpg' freeze_graph_test(pb_path=out_pb_path, image_path=image_path)
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程