使用 Keras 进行迁移学习，验证准确度从一开始就没有提高（超出原始基线），而训练准确度提高了
Posted
技术标签:
【中文标题】使用 Keras 进行迁移学习，验证准确度从一开始就没有提高（超出原始基线），而训练准确度提高了【英文标题】：Transfer learning with Keras, validation accuracy does not improve from outset (beyond naive baseline) while train accuracy improves 【发布时间】：2020-02-28 18:42:13 【问题描述】：我正在为 Food-101 数据集（包含 101 个类别和每个类别 1k 个图像的图像数据集）构建一个分类器。我的方法是使用 Keras 并使用 ResNet50（来自 imagenet 的权重）进行迁移学习。
在训练模型时，训练准确率在几个 epoch（30%-->45%）内有适度提高，但验证准确率基本保持在 0.9-1.0%。我尝试过简化、交换优化器、减少和增加隐藏层中的单元、剥离所有图像增强以及在flow_from_directory() 上设置一致的随机种子。
当我查看模型在验证集上所做的预测时，它始终是同一个类。
我的感觉是，该模型并没有过度拟合，以至于无法解释验证准确性如此缺乏运动。
非常感谢任何提高验证准确性的建议。
供参考，下面是相关代码sn-ps：
datagen = ImageDataGenerator(rescale=1./255, validation_split=0.2)
train_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='training', target_size=(256,256))
# prints "60603 images belonging to 101 classes"
val_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='validation', target_size=(256,256))
# prints "15150 images belonging to 101 classes"
train_steps = len(train_datagen) #1894
val_steps = len(val_datagen) #474
classes = len(list(train_datagen.class_indices.keys())) #101
conv_base = ResNet50(weights='imagenet', include_top=False, pooling='avg', input_shape=(256, 256, 3))
from keras.layers import GlobalAveragePooling2D
from keras.layers import Dropout
from keras.layers import Flatten
from keras.layers import BatchNormalization
model = Sequential()
model.add(conv_base)
model.add(BatchNormalization())
model.add(Dropout(0.2))
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(classes, activation='softmax'))
conv_base.trainable = False
from keras.optimizers import Adam
model.compile(loss='categorical_crossentropy',
optimizer=Adam(),
metrics=['acc','top_k_categorical_accuracy'])
history = model.fit_generator(
train_datagen,
steps_per_epoch=train_steps,
epochs=5,
verbose=2,
validation_data=val_datagen,
validation_steps=val_steps
)
这是.fit_generator()的结果：
这里是model.summary()：
Layer (type) Output Shape Param #
=================================================================
resnet50 (Model) (None, 2048) 23587712
_________________________________________________________________
batch_normalization_1 (Batch (None, 2048) 8192
_________________________________________________________________
dropout_1 (Dropout) (None, 2048) 0
_________________________________________________________________
dense_1 (Dense) (None, 512) 1049088
_________________________________________________________________
dropout_2 (Dropout) (None, 512) 0
_________________________________________________________________
dense_2 (Dense) (None, 101) 51813
=================================================================
Total params: 24,696,805
Trainable params: 1,104,997
Non-trainable params: 23,591,808
_________________________________________________________________
【问题讨论】：
【参考方案1】：验证准确率低的原因与模型的构建方式有关。可以合理地预期迁移学习在这种情况下会很好地工作。但是，您的前 1 名和前 5 名分别徘徊在 1/101 和 5/101 附近。这表明您的模型是偶然分类的，并且尚未了解数据集的基础信号（特征）。因此，迁移学习在这种情况下不起作用。然而，这确实意味着它不会永远工作。
我重复了你的实验，我得到了相同的结果，即 top-1 和 top-5 的准确度反映了随机选择的分类。然而，我随后解冻了 ResNet50 模型的层并重复了实验。这只是进行迁移学习的稍微不同的方式。经过 10 个 epoch 的训练，我得到了以下结果：
纪元 10/50 591/591 [===============================] - 1492s 3s/步 - 损失：1.0594 - 准确度：0.7459 - val_loss : 1.1397 - val_accuracy: 0.7143
这并不完美。但是，该模型尚未收敛，可以应用一些预处理步骤来进一步改进结果。
您观察的原因在于，冻结的 ResNet50 模型是根据与 Food101 数据集根本不同的图像分布进行训练的。这种数据分布的不匹配导致性能不佳，因为冻结网络执行的转换未针对 Food101 图像进行调整。解冻网络可以让神经元真正学习 Food101 图像，从而获得更好的结果。
希望对你有所帮助。
【讨论】：
感谢您的回答。我可以知道您是否在解冻 ResNet 基础模型时将“可训练”传递给 BatchNormalization 层？ 嗨 Japesh，您只需要在定义模型时删除“conv_base.trainable = False”。您还可以设置“conv_base.trainable = True”以将这些层硬编码为可训练。希望这会有所帮助！ 嗨 RandyESH，非常抱歉，我没有明白你的意思。你能详细解释一下吗？很抱歉给您添麻烦了。【参考方案2】：减少模型中的冻结层（或增加可训练层）。我遇到了同样的问题，然后我在数据上训练了一半的层，准确性大大提高了。
【讨论】：
【参考方案3】：试试这个
datagen = ImageDataGenerator(rescale=1./255, validation_split=0.4)
train_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='training', target_size=(256,256))
# prints "60603 images belonging to 101 classes"
val_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='validation', target_size=(256,256))
# prints "15150 images belonging to 101 classes"
train_steps = len(train_datagen) #1894
val_steps = len(val_datagen) #474
classes = len(list(train_datagen.class_indices.keys())) #101
conv_base = ResNet50(weights='imagenet', include_top=False, pooling='avg', input_shape=(256, 256, 3))
from keras.layers import GlobalAveragePooling2D
from keras.layers import Dropout
from keras.layers import Flatten
from keras.layers import BatchNormalization
model = Sequential()
model.add(conv_base)
model.add(Dropout(0.2))
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.3))
model.add(Dense(classes, activation='softmax'))
conv_base.trainable = False
from keras.optimizers import Adam
model.compile(loss='categorical_crossentropy',
optimizer=Adam(),
metrics=['acc','top_k_categorical_accuracy'])
history = model.fit_generator(
train_datagen,
steps_per_epoch=train_steps,
epochs=50,
verbose=2,
validation_data=val_datagen,
validation_steps=val_steps
)
【讨论】：
感谢您的建议；我运行了上述建议，验证准确性没有改变：'- 754s - loss: 2.6688 - acc: 0.3364 - top_k_categorical_accuracy: 0.6276 - val_loss: 5.8626 - val_acc: 0.0099 - val_top_k_categorical_accuracy: 0.0493'以上是关于使用 Keras 进行迁移学习，验证准确度从一开始就没有提高（超出原始基线），而训练准确度提高了的主要内容，如果未能解决你的问题，请参考以下文章
用于二进制分类的 ResNet - 只有 2 个交叉验证准确度值