Keras自定义层和急切的执行
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Keras自定义层和急切的执行相关的知识,希望对你有一定的参考价值。
我有一个简单的模型与一个自定义图层,在正常情况下工作正常。当我通过tf.enable_eager_execution()
切换到急切的执行时,我陷入了一个奇怪的错误。
这是迄今为止的代码:
import numpy as np
import tensorflow as tf
import tensorflow.keras.backend as K
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Layer, Input
from tensorflow.keras.losses import kullback_leibler_divergence
tf.enable_eager_execution()
class ClusteringLayer(Layer):
def __init__(self, output_dim, input_dim=None, alpha=1.0, **kwargs):
self.output_dim = output_dim
self.input_dim = input_dim
self.alpha = alpha
super(ClusteringLayer, self).__init__(**kwargs)
def build(self, input_shape):
self.W = self.add_weight(name='kernel', shape=(self.output_dim, input_shape[1]), initializer='uniform', trainable=True)
super(ClusteringLayer, self).build(input_shape)
def call(self, x, mask=None):
q = 1.0/(1.0 + K.sqrt(K.sum(K.square(K.expand_dims(x, 1) - self.W), axis=2))**2 /self.alpha)
q = q**((self.alpha+1.0)/2.0)
q = K.transpose(K.transpose(q)/K.sum(q, axis=1))
return q
def compute_output_shape(self, input_shape):
return (input_shape[0], self.output_dim)
def clustering_loss(y_true, y_pred):
a = K.square(y_pred) / K.sum(y_pred, axis=0)
p = K.transpose(K.transpose(a) / K.sum(a, axis=1))
loss = kullback_leibler_divergence(p, y_pred)
return loss
input1 = Input(shape=(10,), name="input")
out = ClusteringLayer(output_dim = 5, name='clustering')(input1)
model = Model(inputs=input1, outputs=out)
model.compile(optimizer=tf.train.AdamOptimizer(1e-3), loss={'clustering' : clustering_loss})
X = np.random.random((20, 10)).astype(np.float32)
Y = np.random.random((20, 5)).astype(np.float32)
model.fit(x={'input' : X}, y={'clustering' : Y}, batch_size=1, epochs=10)
错误消息与“fit”函数有关:
AssertionError: Could not compute output DeferredTensor('None', shape=(5,), dtype=float32)
当我尝试检查自定义图层的输出时,我惊讶地发现该图层正在生成两个输出。第一个是模棱两可和不受欢迎的。
码:
input1 = Input(shape=(10,), name="input")
layer = ClusteringLayer(output_dim = 5, name='clustering')
out = layer(input1)
print(out)
输出:
[<DeferredTensor 'None' shape=(?,) dtype=float32>, <DeferredTensor 'None' shape=(5,) dtype=float32>]
即使我用简单的custom layer from the Keras documentation更改了我的自定义图层,我也得到了同样的错误:
AssertionError: Could not compute output DeferredTensor('None', shape=(5,), dtype=float32)
答案
我在GitHub中问了这个问题,因为它看起来更像是一个bug。他们建议在解决内部问题之前使用解决方法。
我引用这里:github
作为解决方法,您可以将compute_output_shape返回的输出形状包装在TensorShape中。例如:TensorShape((input_shape [0],self.output_dim))。让我知道这个是否奏效。
以上是关于Keras自定义层和急切的执行的主要内容,如果未能解决你的问题,请参考以下文章
在没有 Keras 的情况下使用 Tensorflow 2.0 和急切执行
Keras Dense 层和 Pytorch 的 nn.linear 层有区别吗?