MMDeploy理解

Posted 2023-02-22 Arrow

MMDeploy理解

• 1. 简介
• • 1.1 流程简介
  • • 1.1.1 模型转换（Model Converter）
    • 1.1.2 MMDeploy 模型（MMDeploy Model）
    • 1.1.3 推理 SDK（Inference SDK）

1. 简介

• MMDeploy 建立了一个统一高效的模型转换框架，并实现了高度可扩展的组件式 SDK，支持了 7 种后端推理引擎，支持将 OpenMMLab 各算法库训练的模型一键式部署到硬件设备上并高效运行。为人工智能应用部署建立了一套适应全场景、高性能的部署框架，可高效适配各类芯片硬件，满足终端用户对人工智能应用的需求。

1.1 流程简介

• MMDeploy 定义的模型部署流程，如下图所示：
  

1.1.1 模型转换（Model Converter）

• 模型转换的主要功能是把输入的模型格式，转换为目标设备的推理引擎所要求的模型格式。
• 目前，MMDeploy 可以把 PyTorch 模型转换为 ONNX、TorchScript 等和设备无关的 IR 模型。也可以将 ONNX 模型转换为推理后端模型。两者相结合，可实现端到端的模型转换，也就是从训练端到生产端的一键式部署。

1.1.2 MMDeploy 模型（MMDeploy Model）

• 也称 SDK Model。它是模型转换结果的集合。不仅包括后端模型，还包括模型的元信息。这些信息将用于推理 SDK 中。

1.1.3 推理 SDK（Inference SDK）

• 封装了模型的前处理、网络推理和后处理过程。对外提供多语言的模型推理接口。