使用评估生成器的准确度为 0%，但在使用相同数据进行训练期间的准确度为 75%——这是怎么回事？

Posted 2023-02-22

【中文标题】使用评估生成器的准确度为 0%，但在使用相同数据进行训练期间的准确度为 75%——这是怎么回事？

【英文标题】：0% accuracy with evaluate_generator but 75% accuracy during training with same data - what is going on?

【发布时间】：2018-04-25 21:22:17

【问题描述】：

我在使用 ImageDataGenerator、fit_generator 和 evaluate_generator 的 keras 模型中遇到了一个非常奇怪的问题。

我正在像这样创建模型：

classes = <list of classes>
num_classes = len(classes)

pretrained_model = Sequential()
pretrained_model.add(ResNet50(include_top=False, weights='imagenet', pooling='avg'))
pretrained_model.add(Dense(num_classes, activation='softmax'))

pretrained_model.layers[0].trainable = False

pretrained_model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['accuracy']
)

我正在这样训练它：

idg_final = ImageDataGenerator(
    data_format='channels_last',
    rescale=1./255,
    width_shift_range = 0.2,
    height_shift_range = 0.2,
    rotation_range=15,
)

traing_gen = idg_final.flow_from_directory('./train', classes=classes, target_size=(224, 224), class_mode='categorical')

pretrained_model.fit_generator(traing_gen, epochs=1, verbose=1)

fit_generator 打印 loss: 1.0297 - acc: 0.7546。

然后，我尝试在与训练时完全相同的数据上评估模型。

debug_gen = idg_final.flow_from_directory('./train', target_size=(224, 224), class_mode='categorical', classes=classes, shuffle=True)
print(pretrained_model.evaluate_generator(debug_gen, steps=100))

打印[10.278913383483888, 0.0]。

为什么在相同的确切数据上准确率会如此不同？

编辑：我还想指出，有时准确度高于 0.0。例如，当我使用经过五个 epoch 训练的模型时，evaluate_accuracy 返回 6% 的准确率。

---

编辑 2：根据下面的答案，我确保训练了更多时期，并且用于评估的 ImageDataGenerator 没有随机移位和旋转。在同一数据集的训练过程中，我的准确率仍然非常高，而在评估过程中准确率极低。

我正在训练

idg_final = ImageDataGenerator(
    data_format='channels_last',
    rescale=1./255,
    width_shift_range = 0.2,
    height_shift_range = 0.2,
    rotation_range=15,
)

traing_gen = idg_final.flow_from_directory('./train', classes=classes, target_size=(224, 224), class_mode='categorical')                  

pretrained_model.fit_generator(traing_gen, epochs=10, verbose=1)

打印以下内容：

Found 9850 images belonging to 4251 classes.
Epoch 1/10
308/308 [==============================] - 3985s 13s/step - loss: 8.9218 - acc: 0.0860
Epoch 2/10
308/308 [==============================] - 3555s 12s/step - loss: 3.2710 - acc: 0.3403
Epoch 3/10
308/308 [==============================] - 3594s 12s/step - loss: 1.8597 - acc: 0.5836
Epoch 4/10
308/308 [==============================] - 3656s 12s/step - loss: 1.2712 - acc: 0.7058
Epoch 5/10
308/308 [==============================] - 3667s 12s/step - loss: 0.9556 - acc: 0.7795
Epoch 6/10
308/308 [==============================] - 3689s 12s/step - loss: 0.7665 - acc: 0.8207
Epoch 7/10
308/308 [==============================] - 3693s 12s/step - loss: 0.6581 - acc: 0.8498
Epoch 8/10
308/308 [==============================] - 3618s 12s/step - loss: 0.5874 - acc: 0.8636
Epoch 9/10
308/308 [==============================] - 3823s 12s/step - loss: 0.5144 - acc: 0.8797
Epoch 10/10
308/308 [==============================] - 4334s 14s/step - loss: 0.4835 - acc: 0.8854

我正在完全相同的数据集

上进行这样的评估

idg_debug = ImageDataGenerator(
    data_format='channels_last',
    rescale=1./255,
)

debug_gen = idg_debug.flow_from_directory('./train', target_size=(224, 224), class_mode='categorical', classes=classes)
print(pretrained_model.evaluate_generator(debug_gen))

打印以下非常低的准确性：[10.743386410747084, 0.0001015228426395939]

---

完整代码为here。

【问题讨论】：

我遇到了一个非常相似的问题。在我的预处理中，我的类标签有一个不确定的顺序，所以训练和评估之间的顺序是不同的。可能值得研究一下顺序是一样的。

好主意。熊猫数据框的list(train_df['Id'].unique()) 会返回不同的结果吗？

我认为不会。我验证了debug_gen.class_indices == traing_gen.class_indices。

我相信我在预处理步骤中对数据进行了洗牌，并在遇到它们时动态添加类。但似乎你没有同样的问题。总是很高兴先尝试低垂的果实

Keras 在训练前进行验证拆分。有可能您的课程不平衡，因此它试图预测一个从未接受过培训的课程

【参考方案1】：

我怀疑有两件事。

1 - 不，您的数据不一样。

您在ImageDataGenerator 中使用了三种类型的增强，而且似乎没有设置随机种子。因此，测试数据不等于训练数据。

而且看起来，您也只训练了一个 epoch，这非常少（除非您真的有大量数据，但由于您使用的是增强，也许情况并非如此）。 （PS：我在你的fit_generator 调用中没有看到steps_per_epoch 参数...）

所以，如果你想看到好的结果，这里有一些解决方案：

从该测试的生成器中删除增强参数（训练和测试数据） - 这意味着，删除 width_shift_range、height_shift_range 和 rotation_range； 如果没有，请训练很长时间，足以让您的模型真正适应各种增强图像（看起来，五个 epoch 似乎仍然太少）； 或者设置一个随机种子，保证测试数据等于训练数据（flow_from_directory中的参数seed）

2 -（如果您是 Keras/编程新手，可能会发生这种情况，如果不是这种情况，请忽略）您可能再次运行定义模型的代码测试时。

如果您再次运行定义模型的代码，它将用随机权重替换您之前的所有训练。

3 - 由于我们没有建议：

也许保存权重而不是保存模型。我通常这样做而不是保存模型。 （出于某种我不明白的原因，我从来没有加载过这样的模型）

def createModel():
    ....

model = createModel()
...
model.fit_generator(....)

np.save('model_weights.npy',model.get_weights())

model = createModel()
model.set_weights(np.load('model_weights.npy'))
...
model.evaluate_generator(...)

---

提示：

这与错误无关，但请确保基础模型层确实是第 0 层。如果我没记错的话，顺序模型有一个输入层，而实际上您应该使第 1 层不可训练。

使用model.summary() 确认不可训练参数的数量。

【讨论】：

是的，它是:) -- 我曾经在某个地方发现了一个具有输入层的模型。但我不知道在哪里。

您是否完整且正确地更新了您的答案？我仍然在训练数据中看到了增强参数。它仍然不是同一个数据集。

怀疑：您是否有名为“final_model”和“final_model.h5”的文件？ -- 如果保存命令现在自动添加扩展，您可能正在加载不同的模型。

您可以尝试在保存前强制删除文件（确保文件被新文件覆盖）。

确实，它不是完全相同的数据集，但显然模型正在学习解释第十个时期的变化和旋转（鉴于0.8854 的准确性）。另请注意，由于随机移位和旋转，数据集在每个不同时期都是“不同的”，但准确性仍然很高。只有一个模型文件，名为final_model。不过感谢您的建议。