模型压缩蒸馏算法小结

Posted lart

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了模型压缩蒸馏算法小结相关的知识,希望对你有一定的参考价值。

模型压缩之蒸馏算法小结

原始文档:https://www.yuque.com/lart/gw5mta/scisva

Google Slide: https://docs.google.com/presentation/d/e/2PACX-1vSsa5X_zfuJUPgxUL7vu8MHbkj3JnUzIlKbf-eXkYivhwiFZRVx_NqhSxBbYDu-1c2D7ucBX_Rlf9kD/pub?start=false&loop=false&delayms=3000

2019年09月07日制作

技术图片

脑图的原始文档:http://naotu.baidu.com/file/f60fea22a9ed0ea7236ca9a70ff1b667?token=dab31b70fffa034a(kdxj)

输出配准

Distilling the Knowledge in a Neural Network(NIPS 2014)

  • 使用教师模型的soft-target

技术图片

Deep Mutual Learning(CVPR 2018)

  • 交替式训练多个学生网络互相促进

技术图片

Born Again Neural Networks(ICML 2018)

  • 从教师训练学生1,以此由学生i训练学生i+1,最后集成所有的学生模型

技术图片

技术图片

直接配准

拟合注意力图

Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer(ICLR 2017)

  • 配准各阶段特征通经过道融合后得到的单通道注意力图

技术图片

技术图片

Learning Lightweight Lane Detection CNNs by Self Attention Distillation(ICCV 2019)

  • 使网络各阶段的特征通过通道融合计算注意力图,配准早期的输出注意力图

技术图片

技术图片

拟合特征

FitNets : Hints for Thin Deep Nets(ICLR2015)

  • 第一阶段使用一个回归模块来配准部分学生网络和部分教师网络的输出特征,第二阶段使用soft targets

技术图片

技术图片

技术图片

关系配准

拟合特征两两之间的关系

A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning(CVPR 2017)

  • 计算相邻阶段特征个通道之间的关系进行配准

技术图片

技术图片

技术图片

Graph-based Knowledge Distillation by Multi-head Attention Network(BMVC 2019)

  • 使用non-local挖掘相邻阶段特征奇异值分解处理后的特征之间的关系

技术图片

技术图片

拟合输出中蕴含的关系

Similarity-Preserving Knowledge Distillation(ICCV 2019)

  • 整个batch内部样本对应输出特征之间的关系

技术图片

Relational Knowledge Distillation(CVPR 2019)

  • batch中任意二元数据对应输出的距离关系和三元组输出对应角度关系

技术图片

技术图片

Data Distillation: Towards Omni-Supervised Learning(CVPR2018)

  • 教师模型与学生模型结构可同可不同,会集成不同变换后的样本对应的教师网络的输出

技术图片

Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results(NIPS 2017)

  • 半监督方法,教师模型使用当前学生模型的权重参数和上一周期的权重参数计算指数移动平均,一致性约束

技术图片

技术图片

拟合特征自身内部的关系

Knowledge Adaptation for Efficient Semantic Segmentation(CVPR 2019)

  • 对教师模型使用自编码器转换特征,对学生模型使用适配单元来适配教师模型的特征

技术图片

技术图片

技术图片

Structured Knowledge Distillation for Semantic Segmentation(CVPR 2019)

  • 同时结合了soft targets,以及使用gan做的更高级的信息的拟合

技术图片

技术图片

技术图片

技术图片

以上是关于模型压缩蒸馏算法小结的主要内容,如果未能解决你的问题,请参考以下文章

知识蒸馏IRG算法实战:使用ResNet50蒸馏ResNet18

8.1 模型压缩的方法

深度学习模型压缩与加速

bert 压缩优化方向的论文

卷积神经网络压缩方法总结

一文搞懂知识蒸馏Knowledge Distillation算法原理