AAAI2022基于秩模仿和预测引导特征模仿的目标检测知识蒸馏

Posted 人工智能博士

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AAAI2022基于秩模仿和预测引导特征模仿的目标检测知识蒸馏相关的知识,希望对你有一定的参考价值。

点上方人工智能算法与Python大数据获取更多干货

在右上方 ··· 设为星标 ★,第一时间获取资源

仅做学术分享,如有侵权,联系删除

转载于 :专知

Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation

KD (Knowledge蒸馏)是一种广泛应用的技术,它将信息从繁琐的教师模型迁移到紧凑的学生模型,从而实现模型的压缩和加速。与图像分类相比,目标检测是一项更为复杂的任务,设计具体的目标检测KD方法是非简单的。在这项工作中,我们精心研究了教师和学生检测模型之间的行为差异,并得到了两个有趣的观察结果: 第一,教师和学生对他们检测到的候选框的排名差异很大,这导致了他们的精度差异。其次,教师和学生的特征响应差异和预测差异之间存在较大的差距,说明对教师的所有特征地图进行同等的模仿是提高学生准确性的次优选择。在此基础上,我们分别提出了Rank mimics (RM)和predictive -guided Feature Imitation (PFI)两种方法来提取一级检测器。RM将教师的候选箱排序作为一种新的知识提炼形式,其表现始终优于传统的软标签蒸馏。PFI试图将特征差异与预测差异联系起来,使特征模仿直接有助于提高学生的准确性。在MS COCO和PASCAL VOC基准上,在不同的探测器上进行了大量的实验,以验证我们的方法的有效性。具体来说,ResNet50的RetinaNet在MS COCO中实现了40.4%的mAP,比其基线高3.5%,也优于以往的KD方法。

---------♥---------

声明:本内容来源网络,版权属于原作者

图片来源网络,不代表本公众号立场。如有侵权,联系删除

AI博士私人微信,还有少量空位

如何画出漂亮的深度学习模型图?

如何画出漂亮的神经网络图?

一文读懂深度学习中的各种卷积

点个在看支持一下吧

以上是关于AAAI2022基于秩模仿和预测引导特征模仿的目标检测知识蒸馏的主要内容,如果未能解决你的问题,请参考以下文章

AAAI2022 | 通过多任务学习改进证据深度学习

Transformer模仿大脑,在预测大脑成像上超越42个模型,还能够模拟感官与大脑之间的传输...

模仿黑魂锁定目标功能

“空气洗”再迎迭代,模仿者又有了新目标

模仿基于 QApplication::palette() 的颜色样式行为

AAAI2022 | 唐建团队《知识图谱推理进展》