当机器学习性能遭遇瓶颈时，如何优化？如何去尝试解决问题？

Posted 2021-08-31 Data+Science+Insight

当机器学习性能遭遇瓶颈时，如何优化？如何去尝试解决问题？

第一，问题的界定有无问题；

第二，基于数据改善性能：

获取更多的数据、衍生或者创造更多的新的数据、数据是不是清洗的不够好、是不是数据的采样方式方法不够好、数据分布是否不合适、数据缩放方式是否合适、特征工程是否充分、特征筛选是否合理、是否可以转化数据、是否可以降维数据等；

第三，借助算法改善性能

改变重采样方法、改变评价指标、建立基线模型、尝试线性算法、尝试非线性算法、尝试集成学习方法、从文献中偷师学艺等；

第四，用算法调参改善性能

随机搜索、网格搜索、模拟退火、AutoML工具、自定义损失函数、误差分析、模型诊断、询问专家、学习经典文献、算法延伸、算法定制、交替实现等；

第五，借助模型融合改善性能

组合多个模型的预测。在算法调参之后，这是下一个大的改善空间。实际上，组合多个“够用”的模型，而不是多个精调（同时也非常脆弱，可能严