FitNets: Hints for Thin Deep Nets
Posted 爆米花好美啊
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了FitNets: Hints for Thin Deep Nets相关的知识，希望对你有一定的参考价值。
其实应该先早点写这篇文章的
这篇文章主要是将hinton的output distillation扩展到了feature distillation
该loss用来拉进student和teacher feature的距离
该loss就是与hard label、soft label做cross entroy
训练过程需要注意：
- 先进行hints training，即选择某一层feature对齐后，利用HT loss训练该层前面的参数
- 固定前面的参数，利用KD loss，训练整个网络
以上是关于FitNets: Hints for Thin Deep Nets的主要内容，如果未能解决你的问题，请参考以下文章
系统设计论文总结之：Butler W. Lampson. Hints for computer system design
py typing — Support for type hints
项目启动报错：No suitable driver found for jdbc:oracle:thin:@192.168.7.146:1521:oracle