Keras 使用 TimeDistributed 预训练 CNN
Posted
技术标签:
【中文标题】Keras 使用 TimeDistributed 预训练 CNN【英文标题】:Keras pretrain CNN with TimeDistributed 【发布时间】:2017-07-07 21:26:49 【问题描述】:这是我的问题,我想在 TimeDistributed 层中使用预训练 CNN 网络之一。但是我在实现它时遇到了一些问题。
这是我的模型:
def bnn_model(max_len):
# sequence length and resnet input size
x = Input(shape=(maxlen, 224, 224, 3))
base_model = ResNet50.ResNet50(weights='imagenet', include_top=False)
for layer in base_model.layers:
layer.trainable = False
som = TimeDistributed(base_model)(x)
#the ouput of the model is [1, 1, 2048], need to squeeze
som = Lambda(lambda x: K.squeeze(K.squeeze(x,2),2))(som)
bnn = Bidirectional(LSTM(300))(som)
bnn = Dropout(0.5)(bnn)
pred = Dense(1, activation='sigmoid')(bnn)
model = Model(input=x, output=pred)
model.compile(optimizer=Adam(lr=1.0e-5), loss="mse", metrics=["accuracy"])
return model
编译模型时我没有错误。但是当我开始训练时,出现以下错误:
tensorflow/core/framework/op_kernel.cc:975] Invalid argument: You must feed a value for placeholder tensor 'input_2' with dtype float
[[Node: input_2 = Placeholder[dtype=DT_FLOAT, shape=[], _device="/job:localhost/replica:0/task:0/gpu:0"]()]]
我检查并发送了 float32,但对于 input1,input2 是 pretrain Resnet 中存在的输入。
这里只是概述一下模型摘要。 (注意:奇怪的是它没有显示 Resnet 内部发生的事情,但没关系)
____________________________________________________________________________________________________
Layer (type) Output Shape Param # Connected to
====================================================================================================
input_1 (InputLayer) (None, 179, 224, 224, 0
____________________________________________________________________________________________________
timedistributed_1 (TimeDistribut (None, 179, 1, 1, 204 23587712 input_1[0][0]
____________________________________________________________________________________________________
lambda_1 (Lambda) (None, 179, 2048) 0 timedistributed_1[0][0]
____________________________________________________________________________________________________
bidirectional_1 (Bidirectional) (None, 600) 5637600 lambda_1[0][0]
____________________________________________________________________________________________________
dropout_1 (Dropout) (None, 600) 0 bidirectional_1[0][0]
____________________________________________________________________________________________________
dense_1 (Dense) (None, 1) 601 dropout_1[0][0]
====================================================================================================
Total params: 29,225,913
Trainable params: 5,638,201
Non-trainable params: 23,587,712
____________________________________________________________________________________________________
我猜我没有正确使用 TimeDistributed,我看到没有人尝试这样做。我希望有人可以指导我。
编辑:
问题在于ResNet50.ResNet50(weights='imagenet', include_top=False)
在图中创建了自己的输入。
所以我想我需要做类似ResNet50.ResNet50(weights='imagenet', input_tensor=x, include_top=False)
的事情,但我不知道如何将它与TimeDistributed
结合起来。
我试过了
base_model = Lambda(lambda x : ResNet50.ResNet50(weights='imagenet', input_tensor=x, include_top=False))
som = TimeDistributed(base_model)(in_ten)
但它不起作用。
【问题讨论】:
它似乎要求占位符的浮点值。您能否追踪在tf.Session.run
调用中传递给feed_dict
的内容?
在 tensorflow_backend.py 我打印了 feed_dict 并得到了这个 [<tf.Tensor 'input_1:0' shape=(?, 179, 224, 224, 3) dtype=float32>, <tf.Tensor 'dense_1_target:0' shape=(?, ?) dtype=float32>, <tf.Tensor 'keras_learning_phase:0' shape=<unknown> dtype=bool>, <tf.Tensor 'dense_1_sample_weights:0' shape=(?,) dtype=float32>]
。 ResNet 在不应该使用占位符定义时仍然使用。
我很确定我应该做类似ResNet50.ResNet50(weights='imagenet', input_tensor=x, include_top=False)
这样的事情,所以 base_model 中没有占位符,但我不知道如何使用 TimeDistributed。
【参考方案1】:
我的简单解决方案很漂亮。
考虑到您使用的是 keras 的预训练网络,您也可以将其替换为您自己的预训练网络。
这是一个简单的解决方案::
model_vgg=keras.applications.VGG16(input_shape=(256, 256, 3),
include_top=False,
weights='imagenet')
model_vgg.trainable = False
model_vgg.summary()
如果你想使用任何中间层,否则将'block2_pool'替换为最后一层的名称::
intermediate_model= Model(inputs=model_vgg.input, outputs=model_vgg.get_layer('block2_pool').output)
intermediate_model.summary()
最后将它包裹在一个 TimeDistributed 层中
input_tensor = Input(shape=(time_steps,height, width, channels))
timeDistributed_layer = TimeDistributed( intermediate_model )(input_tensor)
现在你可以简单地做::
my_time_model = Model( inputs = input_tensor, outputs = timeDistributed_layer )
【讨论】:
【参考方案2】:我的快速解决方案有点难看。
我刚刚复制了 ResNet 的代码并将 TimeDistributed 添加到所有层,然后在我的自定义 ResNet 上从“基本”ResNet 加载权重。
注意:
为了能够分析这样的图像序列,确实需要占用 gpu 上的大量内存。
【讨论】:
实际上 - 没有其他办法: 它将从头开始运行并且不执行迁移学习。太没用了。以上是关于Keras 使用 TimeDistributed 预训练 CNN的主要内容,如果未能解决你的问题,请参考以下文章
TimeDistributed 与 TimeDistributedDense Keras
Keras LSTM TimeDistributed,有状态
如何在 Keras 中使用 return_sequences 选项和 TimeDistributed 层?