编解码器架构中的bridge到底是什么

Posted 2022-03-08 CSU迦叶

https://opennmt.net/OpenNMT-py/examples/Summarization.html?highlight=bridge​​​​​​对于bridge做出如下解释

• bridge: This is an additional layer that uses the final hidden state of the encoder as input and computes an initial hidden state for the decoder. Without this, the decoder is initialized with the final hidden state of the encoder directly.

大意是，这座桥架在编码器和解码器之间，它的作用是将编码器的最后一层状态进行计算(具体什么计算没说)后再给解码器作为第一层的状态。

此外，bridge是可学习的，以编码器的状态作为输入，例如一篇论文中的参数就给出