深度学习的困境

Posted 2022-02-04 songyuc

1 Optimizing dilemma

深度学习存在“优化困境”，简单来说，深度神经网络的训练无法保证总能找到最优参数（最优解）；
这一点我们从下面的现象中可以看到：

• 知识蒸馏的出现：知识蒸馏的出现说明小模型具有优化难的问题，因为如果小模型本身可以优化到一个更好的解，那么知识蒸馏就没有必要了；