在 Dynamic_RNN 中使用可变序列长度时是不是应该进行丢失屏蔽

Posted 2023-02-16

【中文标题】在 Dynamic_RNN 中使用可变序列长度时是不是应该进行丢失屏蔽

【英文标题】：Should I do loss masking while using variable sequence length in Dynamic_RNN在 Dynamic_RNN 中使用可变序列长度时是否应该进行丢失屏蔽

【发布时间】：2018-09-25 00:28:00

【问题描述】：

我目前正在使用 tf.我的输入具有不同的长度，因此我将输入填充为相同（最大）长度。

我使用 tf.nn.dynamic_rnn 中的 sequence_length 参数来输入每个输入长度的列表。

我的问题：

我应该做损失掩蔽吗？以及何时进行损失掩蔽？

【参考方案1】：

不，您不需要进行损失屏蔽。我假设您希望每个序列都有一个固定长度的向量输出。由于您将序列长度作为输入，动态 RNN 会自动确保为超出序列长度的序列复制状态。

参考：https://www.tensorflow.org/api_docs/python/tf/nn/dynamic_rnn。查看有关 sequence_length 参数的信息。

【讨论】：

如果你传递的是 sequence_length 列表，那么在 Rnn 循环中，tensorflow 通过 计算复制最后一个状态。即使您发送序列长度，您仍然必须用零填充序列。无需进行损失屏蔽。

我自己试过了，打印了状态和输出，结果我不需要做损失屏蔽，谢谢:)