神经网络分类知识蒸馏

Posted cxt-janson

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络分类知识蒸馏相关的知识,希望对你有一定的参考价值。

参考链接:

知识蒸馏是什么?一份入门随笔

https://zhuanlan.zhihu.com/p/90049906

[论文阅读]知识蒸馏(Distilling the Knowledge in a Neural Network)

https://blog.csdn.net/ZY_miao/article/details/110182948

Distilling the Knowledge in a Neural Network[论文阅读笔记]

https://blog.csdn.net/qq_22749699/article/details/79460817

github参考代码(mxnet)

https://github.com/TuSimple/neuron-selectivity-transfer

 

以上是关于神经网络分类知识蒸馏的主要内容,如果未能解决你的问题,请参考以下文章

荐读深度神经网络知识蒸馏综述

知识蒸馏:如何用一个神经网络训练另一个神经网络

论文阅读_神经网络知识蒸馏_DK

知识蒸馏实战:使用CoatNet蒸馏ResNet

RKD知识蒸馏实战:使用CoatNet蒸馏ResNet

神经网络中的蒸馏技术,从Softmax开始说起