深度学习基础面试知识

Posted 2021-11-02 myriads_changes_

目录

• • 学习率的高低影响
  • 图像尺寸变大，CNN网络参数会变不？变为几倍？
  • 数据不平衡处理（正1000：负100）
  • Epoch、Barch、Iteration
  • 模型参数
  • 最佳模型
  • 梯度爆炸、梯度消失

学习率的高低影响

如果在训练模型时，学习率低会导致训练速率缓慢（模型收敛缓慢），对权重更新十分小；但是在实际训练中，在局部最优时需要经行多次更新。

太高
如果在训练模型时，对权重更新过大，模型可能不会收敛，loss过大，模型效果较差；在实际训练中，容易在局部最优时（最低点）震荡。

在我们实际使用的时候，最开始，一般会使用一个较大的学习率（0.01，0.001）等，在模型训练月考后，再使用学习率衰减策略（每过多少轮，学习率减少多少），减小学习率，从而能够使模型更好的收敛。

图像尺寸变大，CNN网络参数会变不？变为几倍？

图像变大并不会影响网络参数量；网络参数的大小只和网络中的卷积核的大小和数量有关。图像变大只会增大计算量。

数据不平衡处理（正1000：负100）

对于数据不平衡很影响模型的效果，对直接导致模型的好坏。

• 选择正确的度量方法，可以使用精准率、召回率、F1分数来评估模型
• 负样本数据增加
• 正样本数据减少
• 权重值大小
• 可以考虑在loss函数上做调整

Epoch、Barch、Iteration

• Epoch 训练完所有数据为一轮，也就是1个epoch
• Barch 每次传入模型训练的数据集大小 例如：barch = 64 （传入64张图片）
• Iteration Epoch/Barch =Iteration，所有数据被分成了多少个barch

模型参数

模型参数是由训练数据集生成的模型值，用于帮助显示数据中的数量关系

最佳模型

就是找到了最适合解决问题的最佳模型参数

1. 可以用于预测新数据
2. 可以直接学习
3. 不需要人工在去调试
4. 可以显示模型能力

梯度爆炸、梯度消失

对于梯度爆炸、梯度消失都可以使用BN层、梯度剪切、正则、更换激活函数来解决部分问题。
对于梯度爆炸会引起网络不稳定，好的结果是无法从数据中学习，不好的会出现无法更新权重，loss出现NaN.

希望这篇文章对你有用！
谢谢点赞评论！