基于pytorch的模型剪枝+模型量化+BN合并+TRT部署(cifar数据)

Posted 踟蹰横渡口,彳亍上滩舟。

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于pytorch的模型剪枝+模型量化+BN合并+TRT部署(cifar数据)相关的知识,希望对你有一定的参考价值。

相关代码下载地址:下载地址

压缩

  • 量化:High-Bit(>2b): QAT, PTQ, QAFT; Low-Bit(≤2b)/Ternary and Binary: QAT
  • 剪枝:正常、规整和分组卷积结构剪枝
  • 针对特征(A)二值量化的BN融合(训练量化后,BN参数 —> conv的偏置b)
  • High-Bit量化的BN融合(训练量化中,先融合再量化,融合:BN参数 —> conv的权重w和偏置b)

部署

  • TensorRT(fp32/fp16/int8(ptq-calibration)、op-adapt(upsample)、dynamic_shape等)

环境要求

  • python >= 3.5
  • torch >= 1.1.0
  • torchvison >= 0.3.0
  • numpy
  • onnx == 1.6.0
  • tensorrt == 7.0

以上是关于基于pytorch的模型剪枝+模型量化+BN合并+TRT部署(cifar数据)的主要内容,如果未能解决你的问题,请参考以下文章

基于pytorch的模型剪枝+模型量化+BN合并+TRT部署(cifar数据)

基于pytorch的模型剪枝+模型量化+BN合并+TRT部署(cifar数据)

深度模型压缩:BN和Conv/Fc参数合并

基于YOLOv5模型压缩模型量化模型剪枝

基于多种模型剪枝方法(L1-normSlimmingAutoSlim)的模型轻量化和模型压缩实现

基于多种模型剪枝方法(L1-normSlimmingAutoSlim)的模型轻量化和模型压缩实现