Keras - 分类器未从预训练模型的转移值中学习
Posted
技术标签:
【中文标题】Keras - 分类器未从预训练模型的转移值中学习【英文标题】:Keras - Classifier not learning from Transfer-Values of a Pre-Trained Model 【发布时间】:2018-05-27 17:46:14 【问题描述】:我目前正在尝试使用预训练网络并在 this dataset 上进行测试。 最初,我使用 VGG19,只微调了最后的分类器以适应我的 120 个类。我让所有层都可训练,以通过更深入的训练来提高性能。问题是模型非常慢(即使我让它运行一个晚上,我也只有几个 epoch 并且达到了大约 45% 的准确度——我有一个 GPU GTX 1070)。
然后,我的想法是冻结该模型的所有层,因为我只有 10k 图像并且只训练最后几个密集层,但它仍然不是很快。
看完this video(大约2分30秒),我决定用InceptionResnetv2复制Transfer-Values的原理。
我处理了每张图片,并使用以下代码将输出保存在一个 numpy 矩阵中。
# Loading pre-trained Model + freeze layers
model = applications.inception_resnet_v2.InceptionResNetV2(
include_top=False,
weights='imagenet',
pooling='avg')
for layer in model.layers:
layer.trainable = False
# Extraction of features and saving
a = True
for filename in glob.glob('train/resized/*.jpg'):
name_img = os.path.basename(filename)[:-4]
class_ = label[label["id"] == name_img]["breed"].values[0]
input_img = np.expand_dims(np.array(Image.open(filename)), 0)
pred = model.predict(input_img)
if a:
X = np.array(pred)
y = np.array(class_)
a = False
else:
X = np.vstack((X, np.array(pred)))
y = np.vstack((y, class_))
np.savez_compressed('preprocessed.npz', X=X, y=y)
X 是形状为 (10222, 1536) 的矩阵,y 是 (10222, 1)。
之后,我设计了我的分类器(几种拓扑),但我不知道为什么它不能执行任何学习。
# Just to One-Hot-Encode labels properly to (10222, 120)
label_binarizer = sklearn.preprocessing.LabelBinarizer()
y = label_binarizer.fit_transform(y)
model = Sequential()
model.add(Dense(512, input_dim=X.shape[1]))
# model.add(Dense(2048, activation="relu"))
# model.add(Dropout(0.5))
# model.add(Dense(256))
model.add(Dense(120, activation='softmax'))
model.compile(
loss = "categorical_crossentropy",
optimizer = "Nadam", # I tried several ones
metrics=["accuracy"]
)
model.fit(X, y, epochs=100, batch_size=64,
callbacks=[early_stop], verbose=1,
shuffle=True, validation_split=0.10)
您可以在下面找到模型的输出:
Train on 9199 samples, validate on 1023 samples
Epoch 1/100
9199/9199 [==============================] - 2s 185us/step - loss: 15.9639 - acc: 0.0096 - val_loss: 15.8975 - val_acc: 0.0137
Epoch 2/100
9199/9199 [==============================] - 1s 100us/step - loss: 15.9639 - acc: 0.0096 - val_loss: 15.8975 - val_acc: 0.0137
Epoch 3/100
9199/9199 [==============================] - 1s 98us/step - loss: 15.9639 - acc: 0.0096 - val_loss: 15.8975 - val_acc: 0.0137
Epoch 4/100
9199/9199 [==============================] - 1s 96us/step - loss: 15.9639 - acc: 0.0096 - val_loss: 15.8975 - val_acc: 0.0137
Epoch 5/100
9199/9199 [==============================] - 1s 99us/step - loss: 15.9639 - acc: 0.0096 - val_loss: 15.8975 - val_acc: 0.0137
Epoch 6/100
9199/9199 [==============================] - 1s 96us/step - loss: 15.9639 - acc: 0.0096 - val_loss: 15.8975 - val_acc: 0.0137
我尝试更改拓扑、激活函数、添加 dropout,但没有任何改进。
我不知道我这样做的方式有什么问题。 X矩阵不正确吗?是不是只允许使用预训练模型作为特征提取器,然后使用第二个模型进行分类?
非常感谢您的反馈, 问候, 尼古拉斯
【问题讨论】:
【参考方案1】:在将图像数组输入模型之前,您需要调用 preprocess_input
。它将input_img
的值从[0, 255] 标准化为[-1, 1],这是InceptionResNetV2
所需的输入范围。
input_img = np.expand_dims(np.array(Image.open(filename)), 0)
input_img = applications.inception_resnet_v2.preprocess_input(input_img.astype('float32'))
pred = model.predict(input_img)
【讨论】:
非常感谢!你为我节省了很多培训时间。以上是关于Keras - 分类器未从预训练模型的转移值中学习的主要内容,如果未能解决你的问题,请参考以下文章
如何减小 opencv 中学习模型的大小(用于 CvBoost)?
PySpark MLlib:AssertionError:分类器未从 HasRawPredictionCol 扩展
从预训练模型中移除顶层,迁移学习,张量流(load_model)