关于模型优化的思考

Posted 2020-11-05 U_C

1、提高深度学习模型识别率的准确率的思考
（1）数据增强技术（图像翻转、白化），对训练数据做一些处理增加数据的抗造性能
（2）模型改进，尝试多种模型
（3）调整学习率首先使用较大的学习率进行训练，观察目标函数值和验证集准确率的收敛曲线，如果目标函数值下降速度和验证集准确率上升速度出现减缓时，减小学习率。循环步骤，直到减小学习率也不会影响目标函数下降或验证集准确率上升为止

2、降低识别系统对硬件的要求，应用于嵌入式设备
（1）调整模型结构（包括网络拓扑连接，运算等），可以参考一些开源模型的进化， 降低模型的大小和运算量
（2）尽量将模型或者权重或者中间参数放于RAM中提高访问速度减少能耗
（3）参数定点化降低精度，损失一些准确率来换取存储空间