训练准确性提高但验证准确性保持不变

Posted 2023-03-13

【中文标题】训练准确性提高但验证准确性保持不变

【英文标题】：Training accuracy improves but validation accuracy remains same

【发布时间】：2019-01-30 14:57:11

【问题描述】：

我正在使用 CNN 训练服装分类算法。我有大约 60000 张图像用于 10 个班级的训练（按 80:20 划分以进行训练和验证）。分离 10000 张图像进行测试。

训练准确度随着时间的推移而提高，但验证准确度保持不变。训练损失也减少了，但验证损失保持不变。

img_width, img_height = 28, 28
batch_size = 32
samples_per_epoch = 20000
validation_steps = 300
nb_filters1 = 32
nb_filters2 = 64
nb_filters3 = 128
conv1_size = 3
conv2_size = 2
pool_size = 2
classes_num = 10
epochs = 300

#learning_rate = 0.001
learning_rate = 0.01
decay_rate = learning_rate / epochs
momentum = 0.8
sgd = SGD(lr=learning_rate, momentum=momentum, decay=decay_rate, 
     nesterov=True)

model = Sequential()
model.add(
    Convolution2D(nb_filters1, conv1_size, conv1_size, border_mode="same", 
    input_shape=(img_width, img_height, 3)))
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=(pool_size, pool_size)))

model.add(Convolution2D(nb_filters2, conv2_size, conv2_size, 
     border_mode="same"))
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=(pool_size, pool_size), dim_ordering='th'))

model.add(Flatten())
model.add(Dense(256))
model.add(Activation("relu"))
model.add(Dropout(0.5))
model.add(Dense(classes_num, activation='softmax'))

model.compile(loss='categorical_crossentropy',
              optimizer=sgd,
              metrics=['accuracy'])

train_datagen = ImageDataGenerator(
rescale=1. / 255,
horizontal_flip=True
)

达到的训练准确率：约 96% 达到的验证准确率：约 92% 达到的测试准确率：约 87%

我的问题：我可以做些什么来提高验证准确性或最小化验证损失？可以做哪些改变来改进它？

【参考方案1】：

你体验到的东西叫做Overfitting。 您可以添加更多正则化。最简单的方法是添加另一个 Dropout 层。

from keras.layers import Dropout
***

    model = Sequential()
    model.add(
        Convolution2D(nb_filters1, conv1_size, conv1_size, border_mode="same", 
        input_shape=(img_width, img_height, 3)))
    model.add(Activation("relu"))
    model.add(MaxPooling2D(pool_size=(pool_size, pool_size)))
    model.add(Dropout(0.3)  # <- THIS IS ADDED
    model.add(Flatten())
    ***

0.3 是将乘以 0 的神经元数量，因此它们的值不会包含在随后的计算中。您可以尝试添加其他 Dropout 层并更改它们的值。你也可以给你的层添加一些偏差，这里解释了https://keras.io/regularizers/。