如何使用Tensorflow构建Seq2seq模型

Posted 2023-03-20

参考技术A 切字分词
使用结巴分词。
移除低频词
代码中，用vocabulary_size 限制词表的大小。用UNK代替不包括在词表中的单词。例如，单词“非线性”不在词表中，则句子“非线性在神经网络中是重要的”变成“UNK在神经网络中是重要的”。
准备开始和结束标签以及填充标签
在decoder端，GO表示解码开始，用EOS表示解码结束，同时用PAD表示填充。模型使用bucketing处理不同长度的句子。如果输入是3个tocken的英语句子，相应的输出是6个tocken的法语句子，则它们将被放入到[5,10]的bucket中。编码器将输入的长度将填充到5，解码器输入的长度将填充到10 ，填充标签是PAD。