数学模型的过拟合和欠拟合

Posted 2021-01-31 jtay

1. 过拟合

1.1 产生原因

• 训练集中的数据抽取错误，太少，或者不均衡，不足以有效代表业务逻辑或场景；
• 训练集中的数据噪音（异常值）干扰过大；
• 训练模型的“逻辑假设“到了模型应用时已经不能成立
• 参数太多，模型复杂度太高；
• 特征量太多，模型训练过度，比如决策树模型，神经网络模型

1.2 解决方法

• 减少特征数量
• 正则化
• 增大样本训练规模，采样均衡
• 简化模型
• 交叉验证
• 去除异常值
• Dropout

2. 欠拟合

1.1 产生原因

• 模型复杂度过低
• 特征量过少

1.2 解决方法

• 增加新特征
• 增加模型复杂度
• 减少正则化系数