自动编码器的解码器权重与 Keras 中的权重绑定

Posted 2023-02-16

【中文标题】自动编码器的解码器权重与 Keras 中的权重绑定

【英文标题】：Decoder's weights of Autoencoder with tied weights in Keras

【发布时间】：2017-06-20 06:51:39

【问题描述】：

我在 Keras 中实现了一个绑定权重自动编码器，并成功训练了它。

我的目标是仅使用自动编码器的解码器部分作为另一个网络的最后一层，对网络和解码器进行微调。

问题是，正如您从下面的摘要中看到的那样，解码器在我的绑定权重实现中没有参数，所以没有什么需要微调的。 （decoder.get_weights() 返回[]）

我的问题是：我是否应该改变绑定权重的实现，使绑定层仍然可以保持权重，即编码器的转置权重？如果是，如何？

还是说我离题了？

下面是autoencoder模型的总结以及tied Dense层的类（对https://github.com/nanopony/keras-convautoencoder/blob/master/autoencoder_layers.py.稍作修改）

---

Layer (type)                     Output Shape          Param #     Connected to                     
====================================================================================================
encoded (Dense)                  (None, Enc_dim)          33000       dense_input_1[0][0]              
____________________________________________________________________________________________________
tieddense_1 (TiedtDense)          (None, Out_Dim)            0           encoded[0][0]                    
====================================================================================================
Total params: 33,000
Trainable params: 33,000
Non-trainable params: 0
________________________________________________________________________


class TiedtDense(Dense):
def __init__(self, output_dim, master_layer, init='glorot_uniform', activation='linear', weights=None,
             W_regularizer=None, b_regularizer=None, activity_regularizer=None,
             W_constraint=None, b_constraint=None, input_dim=None, **kwargs):
    self.master_layer = master_layer
    super(TiedtDense, self).__init__(output_dim, **kwargs)

def build(self, input_shape):
    assert len(input_shape) >= 2
    input_dim = input_shape[-1]
    self.input_dim = input_dim


    self.W = tf.transpose(self.master_layer.W)
    self.b = K.zeros((self.output_dim,))
    self.params = [self.b]
    self.regularizers = []
    if self.W_regularizer:
        self.W_regularizer.set_param(self.W)
        self.regularizers.append(self.W_regularizer)

    if self.b_regularizer:
        self.b_regularizer.set_param(self.b)
        self.regularizers.append(self.b_regularizer)

    if self.activity_regularizer:
        self.activity_regularizer.set_layer(self)
        self.regularizers.append(self.activity_regularizer)

    if self.initial_weights is not None:
        self.set_weights(self.initial_weights)
        del self.initial_weights

【参考方案1】：

问这个问题已经 2 年多了，但这个答案可能仍然对某些人有用。

函数Layer.get_weights() 从self.trainable_weights 和self.non_trainable_weights 检索（参见keras.engine.base_layer.Layer.weights）。在您的自定义层中，您的权重 self.W 和 self.b 没有被添加到任何这些集合中，这就是该层具有 0 个参数的原因。

您可以按如下方式调整您的实现：

class TiedtDense(Dense):
    def __init__(self, output_dim, master_layer, **kwargs):
        self.master_layer = master_layer
        super(TiedtDense, self).__init__(output_dim, **kwargs)

    def build(self, input_shape):
        assert len(input_shape) >= 2
        input_dim = input_shape[-1]
        self.input_dim = input_dim

        self.kernel = tf.transpose(self.master_layer.kernel)
        self.bias = K.zeros((self.units,))
        self.trainable_weights.append(self.kernel)
        self.trainable_weights.append(self.bias)

注意：为了简单起见，我排除了正则化器和约束。如果你想要这些，请参考keras.engine.base_layer.Layer.add_weight。