用于可变长度序列的 LSTM 变分自动编码器

Posted 2023-02-23

【中文标题】用于可变长度序列的 LSTM 变分自动编码器

【英文标题】：LSTM Variational Autoencoder with Masking for variable length sequences

【发布时间】：2019-12-26 18:15:59

【问题描述】：

我正在尝试实现 LSTM VAE（按照我找到的this 示例），但也让它接受使用掩蔽层的可变长度序列。我试图将上面的代码与this SO question 中的想法结合起来，这似乎是通过裁剪渐变以获得最准确的损失来处理它的“最佳方式”，但是我的实现似乎无法在一小组数据上重现序列。因此，我相对确信我的实现存在问题，但我似乎无法确定到底是什么问题。相关部分在这里：

x = Input(shape=(None, input_dim))(x)
x_masked = Masking(mask_value=0.0, input_shape=(None, input_dim))(x)

h = LSTM(intermediate_dim)(x_masked)

z_mean = Dense(latent_dim)(h)
z_log_sigma = Dense(latent_dim)(h)

def sampling(args):
    z_mean, z_log_sigma = args
    epsilon = K.random_normal(shape=(batch_size, latent_dim), mean=0., stddev=epsilon_std)
    return z_mean + z_log_sigma * epsilon

z = Lambda(sampling, output_shape=(latent_dim,))([z_mean, z_log_sigma])

decoded_h = LSTM(intermediate_dim, return_sequences=True)
decoded_mean = LSTM(latent_dim, return_sequences=True)

h_decoded = RepeatVector(max_timesteps)(z)
h_decoded = decoder_h(h_decoded)

x_decoded_mean = decoder_mean(h_decoded)

def crop_outputs(x):
    padding = K.cast(K.not_equal(x[1], 0), dtype=K.floatx())
    return x[0] * padding

x_decoded_mean = Lambda(crop_outputs, output_shape=(max_timesteps, input_dim))([x_decoded_mean, x])

vae = Model(x, x_decoded_mean)

def vae_loss(x, x_decoded_mean):
    xent_loss = objectives.mse(x, x_decoded_mean)
    kl_loss = -0.5 * K.mean(1 + z_log_sigma - K.square(z_mean) - K.exp(z_log_sigma))
    loss = xent_loss + kl_loss
    return loss

vae.compile(optimizer='adam', loss=vae_loss)

# Here, X is variable length time series data of shape
# (num_examples, max_timesteps, input_dim) and is zero padded
# on the right for all the examples of length less than max_timesteps
# X has been appropriately scaled using the StandardScaler.

vae.fit(X, X, epochs = num_epochs, batch_size=batch_size)

一如既往，我们非常感谢任何帮助。谢谢！

【参考方案1】：

我在寻求完全相同的情况下提出您的问题。我放弃了 VAE，但找到了一个解决方案，可以将遮罩应用于不支持遮罩的图层。我所做的只是预定义了一个二进制掩码（您可以使用 numpy Code 1 执行此操作），然后将我的输出乘以掩码。在反向传播期间，算法将尝试乘法的导数，并最终传播或不传播该值。它不像 Keras 上的遮罩层那么聪明，但它为我做了。

#Code 1
#making a numpy binary mask
# expecting a sequence with shape (Time_Steps, Features)
# let's say that my sequence has Features = 10 and a max_Length of 15
max_Len = 15
seq = np.linspace(0,1,100).reshape((10,10))

# You must pad/truncate the sequence here
mask = np.concatenate([np.ones(seq.shape[0]),np.zeros(max_Len-seq.shape[0])],axis=-1)

# This mask can be thrown as input to the model afterwards

一些注意事项： 1-它导致了一个弱回归模型。不知道对 VAE 的影响，因为我从未测试过，但我认为它会产生很多噪音。 2- 计算资源需求增加了，因此如果您像我一样有预算，那么尝试计算传播和反向传播此解决方法（或我们在这里所说的“gambiarra”）的要求是一件好事。 3- 它不能完全解决问题，您可以尝试深入研究并使用纯 Tensorflow 实现更稳定的解决方案。 4- 更“准确”的解决方案是实现自定义遮罩层（代码 2）。

关于第4点，很简单，你必须将图层定义为默认图层，然后使用call函数接收掩码，然后输出掩码和输入的乘积。像这样：

# Code 2
class MyCoolMaskingLayer(tf.keras.layers.Layer):
    def __init__(self, **kwargs):
        #init stuff here
        pass
    def compute_mask(self, inputs, mask=None):
        return mask
    def call(self, input, mask=None):
        bc_mask = tf.expand_dims(tf.cast(mask, "float32"), -1) if mask is not None else np.asarray([[1]])
        return input * mask

此功能可能对您不起作用，它确实是针对特定问题并且来自菜鸟（我），但它对我有用。我只是不能分享整个代码，因为我的硕士导师不允许。 （一点点上下文：我将它包裹在 TimeDistributed 周围，以便 LSTM 输出的每个 TimeStep 都由这个掩码层单独处理，因为在 call 内部我对数据执行了一些转换）