模型推理寒武纪 MLU resnet50 量化及离线推理流程

Posted 2021-11-22 极智视界

  欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

  O_o   >_<   o_O   O_o   ~_~   o_O

  本文介绍了在寒武纪 MLU 中进行 resnet50 量化与离线推理的流程。

  本文主要介绍了 Cambricon pytorch 环境搭建、resnet50量化、resnet50 离线推理，resnet 系列是标准模型，其他模型也可参考该流程执行。

文章目录

• • 1、Cambricon Pytorch 环境配置
  • 2、resnet50 量化推理
  • • 2.1 模型量化
    • 2.2 转离线模型
    • 2.3 离线推理

1、Cambricon Pytorch 环境配置

  这个之前写过一篇文章《【经验分享】寒武纪MLU270 源码编译 pytorch-mlu》，关于 Cambricon Pytorch 的编译与环境搭建可以参考。

  按流程搭建好 Cambricon Pytorch 环境后，确认一下环境是否正常，打开 ${PYTORCH_HOME}/build/lib（/opt/cambricon/pytorch/src/pytorch/build/lib），若编译生成了 libtorch_python.so 和 libtorch.so 等文件，则说明 Cambricon PyTorch 编译成功：

2、resnet50 量化推理

2.1 模型量化

cd $HOME/pytorch/tools
./quanti_model.sh

  其中 quanti_model.sh 中的内容：

python quantification_tool.py -model_name resnet50 -data_scale 1.0 -mean 0.485 0.456 0.456 -std 0.229 0.224 0.225 -resize 224 -crop 224 -used_images_num 5 -quantize_mode int8 -save_model_path /opt/cambricon/pytorch/models/int8 -save_name resnet50-19c8e357

• 参数说明：
  • -model_name：模型名称；
  • -data_scale：最大值和最小值缩放比例；
  • -mean：量化参数均值；
  • -std：量化参数方差；
  • -resize：预处理中对图像大小的调整；
  • -crop：裁剪图像大小；
  • -used_images_num：量化时使用的图片数量；
  • -quantize_mode：量化精度；
  • -save_model_path：模型量化后的保存路径；
  • -save_name：模型量化后的名称；

  来看一下终端的输出：

2.2 转离线模型

  安装 python3-tk

sudo apt install python3-tk

  执行离线模型转换：

cd $HOME/pytorch/tools

python genoff_test_resnet50.py

  其中 genoff_test_resnet5.py 中内容：

import sys
import torch
import torch.nn as nn
from torchvision.models.resnet import resnet50

net = resnet50(pretrained=False, progress=True)
net.load_state_dict(torch.load('/opt/cambricon/pytorch/models/int8/resnet50-19c8e357.pth',map_location='cpu'),strict=False)
net.eval().float().mlu()
net.set_core_number(16)
example_mlu = torch.randn(16,3,224,224,dtype=torch.float).mlu()
net = torch.jit.trace(net,example_mlu, check_trace=False)
net(example_mlu)
net.save('/opt/cambricon/pytorch/models/resnet50_int8_offline',True)

2.3 离线推理

  执行离线推理：

cd $HOME/pytorch/tools

./inference_resnet50.sh

  其中 inference_resnet50.sh 中内容：

/opt/cambricon/pytorch/src/pytorch/test/offline_examples/build/clas_offline_multicore/clas_offline_multicore -offlinemodel /opt/cambricon/pytorch/models/resnet50_int8_offline.cambricon -images file_list_for_release -labels synset_words.txt -simple_compile 2 -input_format 0

• 参数说明：
  • -offlinemodel：离线模型的路径；
  • -images：图片列表文本文件；
  • -labels：标签文件；
  • -simple_compile：使能简单编译功能，Cambricon Runtime 根据离线模型 core_number 和 batch_size 参数自动分配最优的软硬件资源；
  • -input_format：指定运行网络时输入图片的通道顺序，依据该参数对输入图片进行相应的前处理。支持 RGB、RGBA 和 ARGB 三种输入图片的通道顺序。0 表示 RGB，1 表示 RGBA，2 表示 ARGB；

  最终的推理结果输出如下：

  以上分享了一下 寒武纪 MLU 上前端为 Cambricon Pytorch 时的 resnet50 int8 量化、转离线模型及离线推理的流程，对寒武纪上其他模型的量化推理应该也有借鉴作用。

 【公众号传送】

《【模型推理】寒武纪 MLU resnet50 量化及离线推理流程》

扫描下方二维码即可关注我的微信公众号【极智视界】，获取更多AI经验分享，让我们用极致+极客的心态来迎接AI ！