PyTorch搭建全连接网络训练MNIST数据集分类任务和气温预测回归任务及全连接网络过拟合和欠拟合的调参方式

Posted 2021-12-14 魏晓蕾

1、MNIST数据集分类任务训练

2、气温预测回归任务训练

3、全连接网络过拟合的调参方式

（1）增大 batch_size
（2）减小 epochs
（3）减小 hidden_size
（4）减小 learning_rate（learning_rate太大，损失值上下抖动）
（5）增大数据量
（6）加 DropOut，加大 DropOut 的百分比
（7）调整网络结构，使网络更加简单，层数更少或者隐层神经元更少

4、全连接网络欠拟合的调参方式

（1）减小 batch_size
（2）增大 epochs
（3）增大 hidden_size
（4）增大 learning_rate
（5）增大数据量
（6）去掉 DropOut，或者减小 DropOut 的百分比
（7）调整网络结构，使网络更加复杂，层数更多或者隐层神经元更多