sh TVM INT8量化

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了sh TVM INT8量化相关的知识，希望对你有一定的参考价值。

#float32
python3 evaluate.py --rec-val mxnetdatasets/ImageNet100.rec --target "llvm -mcpu=core-avx2" --original #10ms
python3 evaluate.py --rec-val mxnetdatasets/ImageNet100.rec --target "cuda" --original #1ms
#int8
python3 evaluate.py --rec-val mxnetdatasets/ImageNet100.rec --target "llvm -mcpu=core-avx2" #21ms
python3 evaluate.py --rec-val mxnetdatasets/ImageNet100.rec --target "cuda" #2.1ms
int8更慢什么情况？继续熟悉代码。

以上是关于sh TVM INT8量化的主要内容，如果未能解决你的问题，请参考以下文章

YOLOV5 INT8 量化对比

TensorRT--INT8量化

NCNN的INT8量化使用方式

python caffemodel KL散度INT8量化

自动驾驶中神经网络模型量化技术：INT8还是INT4？

自动驾驶中神经网络模型量化技术：INT8还是INT4？