ONNX 和 TensorRT 模型中的参数数量和 FLOPS

Posted 2023-02-16

【中文标题】ONNX 和 TensorRT 模型中的参数数量和 FLOPS

【英文标题】：Number of parameters and FLOPS in ONNX and TensorRT model

【发布时间】：2021-11-24 14:23:41

【问题描述】：

将模型从 PyTorch 转换为 ONNX 或 TensorRT 格式时，参数数量和 FLOPS（每秒浮点操作数）是否会发生变化？

【参考方案1】：

我知道，由于 Pytorch 的一些新版本（我使用的是 1.8 并且它对我有用），因此在保存模型的同时有一些批量规范层和卷积的融合。我不确定 ONNX，但 TensorRT 积极使用不同层的水平和垂直融合，因此最终模型的计算成本会比您初始化的模型低。