关于模型优化的思考

Posted U_C

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于模型优化的思考相关的知识,希望对你有一定的参考价值。

1、提高深度学习模型识别率的准确率的思考
(1)数据增强技术(图像翻转、白化),对训练数据做一些处理增加数据的抗造性能
(2)模型改进,尝试多种模型
(3)调整学习率首先使用较大的学习率进行训练,观察目标函数值和验证集准确率的收敛曲线,如果目标函数值下降速度和验证集准确率上升速度出现减缓时,减小学习率。循环步骤,直到减小学习率也不会影响目标函数下降或验证集准确率上升为止

2、降低识别系统对硬件的要求,应用于嵌入式设备
(1)调整模型结构(包括网络拓扑连接,运算等),可以参考一些开源模型的进化, 降低模型的大小和运算量
(2)尽量将模型或者权重或者中间参数放于RAM中提高访问速度减少能耗
(3)参数定点化降低精度,损失一些准确率来换取存储空间

以上是关于关于模型优化的思考的主要内容,如果未能解决你的问题,请参考以下文章

Max Sum Plus Plus-HDU 1024(思考:前缀模型优化,延迟更新)

Max Sum Plus Plus-HDU 1024(思考:前缀模型优化,延迟更新)

Max Sum Plus Plus-HDU 1024(思考:前缀模型优化,延迟更新)

关于预测io调用的思考

概率模型思考2

DSE精选综述 | 关于提升数据库优化器:基数估计代价模型计划枚举