模型推理ncnn 模型转换及量化流程

Posted 2021-12-09 极智视界

  欢迎关注我的公众号 [极智视界]，回复001获取Google编程规范

  O_o   >_<   o_O   O_o   ~_~   o_O

  本文介绍一下 ncnn 模型转换及量化流程，以 from_darknet yolov4 为例。

  关于 ncnn 的 ubuntu 和 windows 安装方法可以参考我之前写的：《【嵌入式AI】ubuntu 安装 ncnn》、《【经验分享】win10 qmake 构建 ncnn vs 工程》。

文章目录

• • 1、模型转换
  • 2、图优化
  • 3、int8 量化
  • • 3.1 优化模型
    • 3.2 创建校准表
    • 3.3 量化模型
    • 3.4 加载 int8 模型进行推理

1、模型转换

./darknet2ncnn yolov4.cfg yolov4.weights yolov4.param yolov4.bin 1

  末尾 1 表示三个 yolo 分支合并，若为 0 表示三个 yolo 分支独立输出。

2、图优化

./ncnnoptimize yolov4.param yolov4.bin yolov4-opt.param yolov4-opt.bin 0

3、int8 量化

3.1 优化模型

./ncnnoptimize yolov4.param yolov4.bin yolov4-opt.param yolov4-opt.bin 0

3.2 创建校准表

find images/ -type f > imagelist.txt
./ncnn2table yolov4-opt.param yolov4-opt.bin imagelist.txt yolov4.table mean=[104,117,123] norm=[0.017,0.017,0.017] shape=[224,224,3] pixel=BGR thread=8 method=kl

3.3 量化模型

./ncnn2int8 yolov4-opt.param yolov4-opt.bin yolov4-int8.param yolov4-int8.bin yolov4.table

3.4 加载 int8 模型进行推理

ncnn::Net yolov4;
yolov4.load_param("yolov4-int8.param");
yolov4.load_model("yolov4-int8.bin");
...
ncnn::Extractor ex = yolov4.create_extractor();
ex.input("data", in);
ex.extract("output", out);
...

  以上以很简洁的方式分享了一下 ncnn from_darknet 的模型转换及量化推理流程。希望会对你的学习有一些帮助。

 【公众号传送】

《【模型推理】ncnn 模型转换及量化流程》

扫描下方二维码即可关注我的微信公众号【极智视界】，获取更多AI经验分享，让我们用极致+极客的心态来迎接AI ！