freeze_inference_graph.pb 和 saved_model.pb 有啥区别？

Posted 2023-02-23

【中文标题】freeze_inference_graph.pb 和 saved_model.pb 有啥区别？

【英文标题】：What is difference frozen_inference_graph.pb and saved_model.pb?freeze_inference_graph.pb 和 saved_model.pb 有什么区别？

【发布时间】：2019-03-26 20:24:22

【问题描述】：

我有一个训练有素的模型 (Faster R-CNN)，我使用 export_inference_graph.py 导出该模型以用于推理。我试图了解创建的 frozen_inference_graph.pb 和 saved_model.pb 以及 model.ckpt* 文件之间的区别。我还看到了.pbtxt 的陈述。

我尝试阅读此内容，但无法真正找到答案：https://www.tensorflow.org/extend/tool_developers/

这些文件中的每一个都包含什么？ 哪些可以转换为其他哪些？ 每个人的理想目的是什么？

【参考方案1】：

frozen_inference_graph.pb，是一个不能再训练的冻结图，它定义了graphdef，实际上是一个序列化图，可以用这段代码加载：

def load_graph(frozen_graph_filename):
    with tf.gfile.GFile(frozen_graph_filename, "rb") as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())
        return graph_def
tf.import_graph_def(load_graph("frozen_inference_graph.pb"))

保存的模型是由 tf.saved_model.builder 生成的模型，必须导入到会话中，该文件包含具有所有训练权重的完整图（就像冻结图一样），但可以在此处进行训练，而这个没有序列化，需要这个sn-p加载。 [] 是标签常量，可以被saved_model_cli 读取。该模型也经常用于预测，例如 google ml engine par example：

with tf.Session() as sess:
    tf.saved_model.loader.load(sess, [], "foldername to saved_model.pb, only folder")

model.ckpt 文件是检查点，在训练期间生成，用于恢复训练或在训练后出现问题时进行备份。如果你有一个保存的模型和一个冻结的图，那么你可以忽略它。

.pbtxt 文件与之前讨论的模型基本相同，但人类可读，而不是二进制文件。这些也可以忽略。

要回答您的转化问题： 保存的模型可以转换为冻结的图，反之亦然，虽然从冻结的图中提取的 saved_model 也是不可训练的，但它的存储方式是保存的模型格式。可以读入检查点并将其加载到会话中，然后您可以从中构建保存的模型。

希望对我有所帮助，有任何问题，尽管问！

补充：

如何冻结图形，从保存的模型文件夹结构开始。 这篇文章很旧，所以我之前使用的方法可能不再适用，它很可能仍然适用于 Tensorflow 1.+。

首先下载this file from the tensorflow library，然后这个代码片段应该可以解决问题：

    import freeze_graph # the file you just downloaded
    from tensorflow.python.saved_model import tag_constants # might be unnecessary

    freeze_graph.freeze_graph(
        input_graph=None,
        input_saver=None,
        input_binary=None,
        input_checkpoint=None,
        output_node_names="dense_output/BiasAdd",
        restore_op_name=None,
        filename_tensor_name=None,
        output_graph=os.path.join(path, "frozen_graph.pb"),
        clear_devices=None,
        initializer_nodes=None,
        input_saved_model_dir=path,
        saved_model_tags=tag_constants.SERVING
    )

output_node_names = 最终操作的节点名称，如果在dense layer上结束，则为dense layer_name/BiasAdd

output_graph = 输出图名称

input_saved_model_dir = 保存模型的根文件夹

saved_model_tags = 保存的模型标签，在你的情况下这可以是无，但我确实使用了标签。

另一个补充：

上面已经提供了加载模型的代码。要实际预测您需要一个会话，对于已保存的模型，此会话已经创建，对于冻结的模型，则不是。

保存的模型：

with tf.Session() as sess:
    tf.saved_model.loader.load(sess, [], "foldername to saved_model.pb, only folder")
    prediction = sess.run(output_tensor, feed_dict=input_tensor: test_images)

冷冻模型：

tf.import_graph_def(load_graph("frozen_inference_graph.pb"))
with tf.Session() as sess:
    prediction = sess.run(output_tensor, feed_dict=input_tensor: test_images)

要进一步了解您的输入和输出层是什么，您需要使用 tensorboard 检查它们，只需将以下代码行添加到您的会话中：

tf.summary.FileWriter("path/to/folder/to/save/logs", sess.graph)

这一行将创建一个日志文件，您可以使用 cli/powershell 打开它，要查看如何运行 tensorboard，请查看此previously posted question

【讨论】：

感谢@"T. Kelher" 的回答为什么saved_model.pb 更适合在 Cloud ML 中进行预测 - 当然frozen_inference.graph.pb 更好，因为它可能更小，而此时你不是不再训练了.. 我假设您可以从 saved_model.pb 生成 freeze_inference_graph.py 但不能反过来？

preferable 不是正确的术语，更精确是唯一接受的方式，google ml 引擎不接受冻结图。转换可以双向进行，从冻结图构建的保存模型可以正常工作，只是不再可训练。

我已经保存了模型格式（包含资产、变量和 saved_model.pb 的目录）。如何将其转换为冻结图（单个 file.pb）？

@Fisa 查看我添加到答案中的附加部分

模型加载后如何进行预测？我超级困惑。我已经训练了这个模型：github.com/tensorflow/tensorflow/tree/master/tensorflow/…

【参考方案2】：

想补充一下，frozen_graph.pb 包括两个东西： 1.图形定义 2. 训练参数

而 save_model.pb，只有图形定义。

这就是为什么如果您检查两个 .pb 文件的大小，frozen_graph.pb 的大小总是更大。

【讨论】：

所以，基本上.pb 文件的结构是相同的，我可以在技术上用tf.saved_model.load 加载frozen_model.pb，对吧？