微软提示工程(Prompt Engineering)指南

Posted BOTAI

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了微软提示工程(Prompt Engineering)指南相关的知识,希望对你有一定的参考价值。

第一部分 提示工程简介

NLP Prompt系列——Prompt Engineering方法详细梳理

微信公众号“圆圆的算法笔记”,定期更新深度学习/CV/NLP/搜推广私人干货笔记

在NLP中的Prompt方法中,Prompt Engineering是一项基础工作。Prompt Engineering指的是如何针对当前任务生成prompt模板。最基础的prompt构造方法为人工构造,针对目标问题设计合适的文本模板。Prompt模板的构造方式对效果的影响非常大,是prompt方法成功与否至关重要的因素。那么如何构建对下游任务有效的prompt模板呢?这篇文章详细汇总了近2年10篇论文中3种Prompt Engineering方法,主要包括人工构造prompt、自动生成prompt、隐空间prompt3种类型,看看顶会论文中都是如何构造prompt模板并以此提升prompt效果的。

1. 人工构造prompt

最基础的方法就是基于人工知识来定义prompt模板。Prompt模板可以分为prefix prompt和cloze prompt两类。其中cloze prompt表示在句子中填空,prefix prompt表示在一个前缀的基础上填后续文本。

Language Models as Knowledge Bases?(2019)这篇文章探讨了预训练语言模型中学习到的语言知识,主要方式是利用多种数据集构造cloze prompt,看预训练模型是否能预测出缺失词。例如Dante was born in (?)就是一个cloze prompt,模型预测空缺位置的词,预测正确说明预训练语言模型学到了这些知识。本文利用一些知识库构造了一批cloze prompt去对比不同预训练模型的效果,并发现Bert-Large能够取得很好的效果。这篇文章最后构造了LAMA数据集,根据

以上是关于微软提示工程(Prompt Engineering)指南的主要内容,如果未能解决你的问题,请参考以下文章

Prompt Engineering《Prompt Engineering Overview》- 知识点目录

NLP Prompt系列——Prompt Engineering方法详细梳理

NLP Prompt系列——Prompt Engineering方法详细梳理

提示词(prompt)工程指南:提示应用

提示词(prompt)工程指南:高级提示

特征工程(feature engineering)是什么?特征工程(feature engineering)包含哪些方面?