使用seq2seq模型需要使用啥软件

Posted 2023-03-16

参考技术A 当输入序列和输出序列具有相同长度的时候，你可以使用Keras LSTM或GRU层（或其堆叠）很轻松地实现这样地模型。这个示例脚本就是一个例子，它展示了如何教RNN计算加法，并编码为字符串：

对于这个方法有一点要注意：我们假定了对于给定的input[...t]是可以生成target[...t]的。这在某些情况下有效（例如，数字字符串的加法），但在大多数情况下都无效。在一般情况下，要生成目标序列，必须要有输入序列的完整信息 参考技术B 切字分词
使用结巴分词。
移除低频词
代码中，用vocabulary_size 限制词表的大小。用UNK代替不包括在词表中的单词。例如，单词“非线性”不在词表中，则句子“非线性在神经网络中是重要的”变成“UNK在神经网络中是重要的”。
准备开始和结束标签以及填充标签
在decoder端，GO表示解码开始，用EOS表示解码结束，同时用PAD表示填充。模型使用bucketing处理不同长度的句子。如果输入是3个tocken的英语句子，相应的输出是6个tocken的法语句子，则它们将被放入到[5,10]的bucket中。编码器将输入的长度将填充到5，解码器输入的长度将填充到10 ，填充标签是PAD。