使用tensorflow对模型进行量化

Posted 2020-12-07 hayley111

本文旨在将训练好的模型基于tensorflow自带工具进行量化。
环境配置部分可参考博文[https://www.cnblogs.com/hayley111/p/12887853.html]。
首先使用如下workflow理解模型部署的过程，本文主要描述的是

• 安装bazel，参照如下官方指导链接
  [https://docs.bazel.build/versions/3.2.0/install-ubuntu.html#step-1-add-bazel-distribution-uri-as-a-package-source]

• 注意这里使用oracle的JDK，在官方指南中安装open JDK的部分替换参考如下博文安装oracle JDK：
  [https://www.cnblogs.com/hayley111/p/13024148.html]

• 安装完毕后使用我们将使用bazel对上述2中完成训练的模型进行编译。
  首先在tensorflow文件夹下执行

bazel build tensorflow/python/tools:freeze_graph 

出现以下信息表示bazel-bin编译成功：

• 查看上述2中step3中的training文件夹，一般一般情况下用tf.train.Saver.save()方式保存下来的checkpoint会产生四个文件：

checkpoint #文本文件，该文件记录了保存的最新的checkpoint文件以及其他checkpoint文件列表
model.ckpt.data-00000-of-00001 #.data文件保存了当前参数值
model.ckpt.index #.index文件保存了当前参数名
model.ckpt.meta #.meta文件保存了当前图结构