NLP Prompt系列——Prompt Engineering方法详细梳理

Posted 2022-12-10 fareise

微信公众号“圆圆的算法笔记”，定期更新深度学习/CV/NLP/搜推广私人干货笔记

在NLP中的Prompt方法中，Prompt Engineering是一项基础工作。Prompt Engineering指的是如何针对当前任务生成prompt模板。最基础的prompt构造方法为人工构造，针对目标问题设计合适的文本模板。Prompt模板的构造方式对效果的影响非常大，是prompt方法成功与否至关重要的因素。那么如何构建对下游任务有效的prompt模板呢？这篇文章详细汇总了近2年10篇论文中3种Prompt Engineering方法，主要包括人工构造prompt、自动生成prompt、隐空间prompt3种类型，看看顶会论文中都是如何构造prompt模板并以此提升prompt效果的。

1. 人工构造prompt

最基础的方法就是基于人工知识来定义prompt模板。Prompt模板可以分为prefix prompt和cloze prompt两类。其中cloze prompt表示在句子中填空，prefix prompt表示在一个前缀的基础上填后续文本。

Language Models as Knowledge Bases?（2019）这篇文章探讨了预训练语言模型中学习到的语言知识，主要方式是利用多种数据集构造cloze prompt，看预训练模型是否能预测出缺失词。例如Dante was born in (?)就是一个cloze prompt，模型预测空缺位置的词，预测正确说明预训练语言模型学到了这些知识。本文利用一些知识库构造了一批cloze prompt去对比不同预训练模型的效果，并发现Bert-Large能够取得很好的效果。这篇文章最后构造了LAMA数据集，根据