使用附加信息预测句子中的遗漏单词

Posted 2021-04-07

我在下面有一句话：

it claimed that some 250,000 people __ the rally.

我想用Bert预测丢失的单词。而且我知道一些其他信息，例如这句话的主题。我应该怎么做才能使用其他信息进行预测？有没有关于这个问题的论文？

答案

我不知道有关此问题的论文。但是我认为您可以将附加信息附加到[SEP]令牌之后的输入句子中（就像第二句话一样），这将提高预测质量。

如果您的数据集带有足够大的附加信息标记，则可以使用上述设置对BERT进行微调，这可以进一步提高质量。