pytorch 自定义算子 onnx1.9 tensorrt8.2

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pytorch 自定义算子 onnx1.9 tensorrt8.2相关的知识,希望对你有一定的参考价值。

参考技术A TensorRT repo

参考 csdn

在 TensorRT/samples/python/ 下参考 costom 编写方式和cmake,docker环境里make生成 .so, 注意插件名字和trt用到的组件名应该一致

python 加载插件

如果用 trtexec ,需要 vim .bashrc

安装依赖 参考

以上是关于pytorch 自定义算子 onnx1.9 tensorrt8.2的主要内容,如果未能解决你的问题,请参考以下文章

PyTorch扩展自定义PyThon/C++(CUDA)算子的若干方法总结

Pytorch 基本使用(数据加载,类型转换)

从零教你使用MindStudio进行Pytorch离线推理全流程

CANN算子:利用迭代器高效实现Tensor数据切割分块处理

从零教你使用MindStudio进行Pytorch离线推理全流程

经验分享寒武纪 pytorch-mlu 添加逐层算子方法