pytorch 自定义算子 onnx1.9 tensorrt8.2
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pytorch 自定义算子 onnx1.9 tensorrt8.2相关的知识,希望对你有一定的参考价值。
参考技术A TensorRT repo参考 csdn
在 TensorRT/samples/python/ 下参考 costom 编写方式和cmake,docker环境里make生成 .so, 注意插件名字和trt用到的组件名应该一致
python 加载插件
如果用 trtexec ,需要 vim .bashrc
安装依赖 参考
以上是关于pytorch 自定义算子 onnx1.9 tensorrt8.2的主要内容,如果未能解决你的问题,请参考以下文章
PyTorch扩展自定义PyThon/C++(CUDA)算子的若干方法总结
从零教你使用MindStudio进行Pytorch离线推理全流程
CANN算子:利用迭代器高效实现Tensor数据切割分块处理