为啥预训练的深度学习模型的性能会下降?

Posted

技术标签:

【中文标题】为啥预训练的深度学习模型的性能会下降?【英文标题】:Why is there a decrease in the performance of pre-trained Deep Learning models?为什么预训练的深度学习模型的性能会下降? 【发布时间】:2017-10-02 23:13:28 【问题描述】:

使用来自 Keras 的模型和权重对受感染/未受感染的 RBC(这是预训练的 DL 模型以前从未见过的)进行二元分类。我发现模型(vgg16,19,xception)的性能随着训练和验证实例数量的增加而下降。为什么?

【问题讨论】:

您是否要在最终预测中添加一个新类?输出维度增加了? 【参考方案1】:

也许它与您正在进行推理的资源管理有关,并且模型在内存中扩展,它会降低性能。这种情况会创建大量的主内存访问来执行前向传递计算,并且会发生页面错误,并且会降低性能。

希望这会有所帮助。

【讨论】:

谢谢。问题是我在微调网络以学习新功能时没有使用足够数量的 epoch。随着我增加 epoch 的数量并使用 SGD 学习率进行排列,我可以发现性能正在提高。

以上是关于为啥预训练的深度学习模型的性能会下降?的主要内容,如果未能解决你的问题,请参考以下文章

如何构建深度学习预训练模型?

自然语言处理预训练模型的研究综述

深度学习模型陷阱:哈佛大学与OpenAI首次发现“双下降现象”

深度学习前沿应用图像分类Fine-Tuning

深度学习前沿应用图像分类Fine-Tuning

针对新数据点更新预训练的深度学习模型