pytorch C++部署模型 ONNX tensorRT

Posted 2021-09-07 Dontla

（1）

C++部署pytorch模型（上）

（2）

TensorRT5介绍及Pytorch转TensorRT5代码示例

TensorRT的使用步骤：（假设以及有一个训练好的模型）
（1） 根据模型创建TensorRT网络定义
（2） 调用TensorRT构建器从网络创建优化的运行引擎
（3） 序列化和反序列化引擎，以便在运行时快速创建引擎
（4） 为引擎提供数据以执行计算

（3）

一般流程是这样的。

cpu： pytorch -> onnx -> onnxruntime

gpu：pytorch -> onnx -> onnx2trt -> TensorRT

上述库python、C++接口都具备，可以根据需要采用

转自：python训练的pytorch模型，如何使用c++调用并使用TensorRT加速?

（4）

tensorrt安装_深度学习模型部署(1)Pytorch转TensorRT(C++版)

说到底TensorRT的使用还是调包，只要对其流程熟悉了，使用起来也就不困难；
目前的模型是简单的unet结构，模型的层TensorRT都支持，下一步需要学习TRT中如何自定义自己的层，如DCN、NMS等。
教程还是官方的详细，本文也是对官方教程的翻译，再加上自己的一些理解与可能遇到的错误。建议英文阅读无障碍的朋友可以直接看官方的教程。

（5）

问题：为什么没有onnx转换pytorch的方法？ - 九千树的回答 - 知乎
因为从pytorch到onnx，包含权重参数信息的网络结构被优化了，再返回去不好返