Keras 使用 TimeDistributed 预训练 CNN

Posted

技术标签:

【中文标题】Keras 使用 TimeDistributed 预训练 CNN【英文标题】:Keras pretrain CNN with TimeDistributed 【发布时间】:2017-07-07 21:26:49 【问题描述】:

这是我的问题,我想在 TimeDistributed 层中使用预训练 CNN 网络之一。但是我在实现它时遇到了一些问题。

这是我的模型:

def bnn_model(max_len):
    # sequence length and resnet input size
    x = Input(shape=(maxlen, 224, 224, 3))

    base_model = ResNet50.ResNet50(weights='imagenet',  include_top=False)

    for layer in base_model.layers:
        layer.trainable = False

    som = TimeDistributed(base_model)(x)

    #the ouput of the model is [1, 1, 2048], need to squeeze
    som = Lambda(lambda x: K.squeeze(K.squeeze(x,2),2))(som)

    bnn = Bidirectional(LSTM(300))(som)
    bnn = Dropout(0.5)(bnn)

    pred = Dense(1, activation='sigmoid')(bnn)

    model = Model(input=x, output=pred)

    model.compile(optimizer=Adam(lr=1.0e-5), loss="mse", metrics=["accuracy"])

    return model

编译模型时我没有错误。但是当我开始训练时,出现以下错误:

tensorflow/core/framework/op_kernel.cc:975] Invalid argument: You must feed a value for placeholder tensor 'input_2' with dtype float
[[Node: input_2 = Placeholder[dtype=DT_FLOAT, shape=[], _device="/job:localhost/replica:0/task:0/gpu:0"]()]]

我检查并发送了 float32,但对于 input1,input2 是 pretrain Resnet 中存在的输入。

这里只是概述一下模型摘要。 (注意:奇怪的是它没有显示 Resnet 内部发生的事情,但没关系)

____________________________________________________________________________________________________
Layer (type)                     Output Shape          Param #     Connected to                     
====================================================================================================
input_1 (InputLayer)             (None, 179, 224, 224, 0                                            
____________________________________________________________________________________________________
timedistributed_1 (TimeDistribut (None, 179, 1, 1, 204 23587712    input_1[0][0]                    
____________________________________________________________________________________________________
lambda_1 (Lambda)                (None, 179, 2048)     0           timedistributed_1[0][0]          
____________________________________________________________________________________________________
bidirectional_1 (Bidirectional)  (None, 600)           5637600     lambda_1[0][0]                   
____________________________________________________________________________________________________
dropout_1 (Dropout)              (None, 600)           0           bidirectional_1[0][0]            
____________________________________________________________________________________________________
dense_1 (Dense)                  (None, 1)             601         dropout_1[0][0]                  
====================================================================================================
Total params: 29,225,913
Trainable params: 5,638,201
Non-trainable params: 23,587,712
____________________________________________________________________________________________________

我猜我没有正确使用 TimeDistributed,我看到没有人尝试这样做。我希望有人可以指导我。

编辑:

问题在于ResNet50.ResNet50(weights='imagenet', include_top=False) 在图中创建了自己的输入。

所以我想我需要做类似ResNet50.ResNet50(weights='imagenet', input_tensor=x, include_top=False) 的事情,但我不知道如何将它与TimeDistributed 结合起来。

我试过了

base_model = Lambda(lambda x : ResNet50.ResNet50(weights='imagenet',  input_tensor=x, include_top=False))
som = TimeDistributed(base_model)(in_ten)

但它不起作用。

【问题讨论】:

它似乎要求占位符的浮点值。您能否追踪在tf.Session.run 调用中传递给feed_dict 的内容? tensorflow_backend.py 我打印了 feed_dict 并得到了这个 [<tf.Tensor 'input_1:0' shape=(?, 179, 224, 224, 3) dtype=float32>, <tf.Tensor 'dense_1_target:0' shape=(?, ?) dtype=float32>, <tf.Tensor 'keras_learning_phase:0' shape=<unknown> dtype=bool>, <tf.Tensor 'dense_1_sample_weights:0' shape=(?,) dtype=float32>]。 ResNet 在不应该使用占位符定义时仍然使用。 我很确定我应该做类似ResNet50.ResNet50(weights='imagenet', input_tensor=x, include_top=False) 这样的事情,所以 base_model 中没有占位符,但我不知道如何使用 TimeDistributed。 【参考方案1】:

我的简单解决方案很漂亮。

考虑到您使用的是 keras 的预训练网络,您也可以将其替换为您自己的预训练网络。

这是一个简单的解决方案::

model_vgg=keras.applications.VGG16(input_shape=(256, 256, 3),
                                           include_top=False,
                                           weights='imagenet')
model_vgg.trainable = False
model_vgg.summary()

如果你想使用任何中间层,否则将'block2_pool'替换为最后一层的名称::

intermediate_model= Model(inputs=model_vgg.input, outputs=model_vgg.get_layer('block2_pool').output)
intermediate_model.summary()

最后将它包裹在一个 TimeDistributed 层中

input_tensor = Input(shape=(time_steps,height, width, channels))
timeDistributed_layer = TimeDistributed( intermediate_model )(input_tensor)

现在你可以简单地做::

my_time_model = Model( inputs = input_tensor, outputs = timeDistributed_layer )

【讨论】:

【参考方案2】:

我的快速解决方案有点难看。

我刚刚复制了 ResNet 的代码并将 TimeDistributed 添加到所有层,然后在我的自定义 ResNet 上从“基本”ResNet 加载权重。

注意:

为了能够分析这样的图像序列,确实需要占用 gpu 上的大量内存。

【讨论】:

实际上 - 没有其他办法: 它将从头开始运行并且不执行迁移学习。太没用了。

以上是关于Keras 使用 TimeDistributed 预训练 CNN的主要内容,如果未能解决你的问题,请参考以下文章

TimeDistributed 与 TimeDistributedDense Keras

Keras的TimeDistributed层

Keras LSTM TimeDistributed,有状态

如何在 Keras 中使用 return_sequences 选项和 TimeDistributed 层?

为keras TimeDistributed图层按名称设置权重

为啥我的 Keras LSTM 不需要 TimeDistributed?