CMU预训练模型最新综述：自然语言处理新范式—预训练Prompt和预测

Posted 2021-08-06 PaperWeekly

©PaperWeekly 原创 · 作者 | 王馨月

学校 | 四川大学本科生

研究方向 | 自然语言处理

概要

本文针对自然语言处理的新范式——我们称之为“prompt-based 学习”，进行了综述与组织。

论文标题：

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, Graham Neubig

论文链接：

https://arxiv.org/abs/2107.13586

区别于传统的监督学习中训练模型接受输入 x 并将输出 y 预测为 P(y|x)，Prompt-based 学习基于直接对文本概率进行建模的语言模型。为了使用这些模型执行预测任务，使用模板将原始输入 x 修改为具有一些未填充槽的文本字符串 prompt  x'，然后使用语言模型对未填充信息进行概率填充以获得最终字符串 x ，从中可以导出最终输出 y。

这个框架强大且有吸引力的原因有很多：它允许语言模型在大量原始文本上进行预训练，并且通过定义一个新的 prompting 函数，模型能够执行少样本甚至零样本学习，可以适应很少或没有标记数据的新场景。

在本文中，我们介绍了这种有发展前途的范式的基础知识，描述了一组统一的数学符号，可以涵盖现有的很多工作；并沿多个维度组织现有工作，例如预训练模型的选择、prompt 和调整策略。为了让感兴趣的初学者更容易接触到该领域，我们不仅对现有工作以及基于 prompt 的概念的高度结构化类型进行了系统综述和，还发布了其他资源，在这个网站中包含了持续更新的综述以及论文列表：

http://pretrain.nlpedia.ai/ 

引言

NLP 的两次巨变

第一次巨变是“pre-train and fine-tune” 范式，第二次巨变则是目前的 “pre-train, prompt, and predict”。如图，是 NLP 中的四种范式。

Prompting 的正式描述

在传统的 NLP 监督学习系统中，我们采用输入 x（通常是文本），并基于模型   预测输出 y。y 可以是标签、文本或其他各种输出。为了学习这个模型的参数  ，我们使用一个包含输入和输出对的数据集，并训练一个模型来预测这个条件概率。

监督学习的主要问题是，为了训练模型  ，必须有任务的监督数据，而对于许多任务来说，这些数据是无法大量获取的。Prompt-based 学习方法试图通过学习一个语言模型（LM）来规避这个问题，该 LM 对文本 x 本身的概率   进行建模，并使用该概率来预测 y，从而减少或消除了对于大型监督数据集的需求。

在本节中，我们对最基本的提示形式进行了数学描述，其中包含许多有关 prompt 的工作，并且可以扩展以涵盖其他内容。具体来说，基本 prompt 分三步预测得分最高的  。分别为：

• prompt 添加：通过   将输入文本转化为一个 prompt
• 回答搜索：找到能将 LM 分数最大化的得分最高的文本 
• 回答mapping：通过得分最高的回答  ，得到得分最高的输出 

如图所示，是 Prompt 方法的一些术语和符号表示。

Prompting 设计过程中的注意事项

有了基本的数学公式后，还需要了解一些基本设计注意事项：

• 预训练模型选择：有多种预训练 LM 可用于计算  。对于 Prompt 方法在效用维度存在差异。
• Prompt 工程：鉴于 prompt 指定了任务，选择合适的 prompt 不仅对准确性有很大影响，而且对模型首先执行的任务也有很大影响；
• 回答工程：根据任务的不同，我们可能希望设计不同的 Z，可能与映射函数一起设计；
• 扩展范式：如上所述，上述等式仅代表已被提议用于执行此类 prompt 的各种基础框架中最简单的。还有一些扩展这种基本范式以进一步提高结果或适用性的方法；
• 基于 prompt 的训练策略：有训练参数的方法，包括 prompt 和 LM。

Prompt 方法分类

Prompt 方法分类

总结

在本文中，作者总结并分析了统计自然语言处理技术发展中的几个范式，并认为 Prompt-based 学习是一种很有前途的新范式，它可能代表着我们看待 NLP 方式的另一个重大变化。 

作者在原文中列出了详细的表格、实例甚至 timeline 以帮助读者更加直观地了解这一新范式，非常值得阅读原文。

特别鸣谢

感谢 TCCI 天桥脑科学研究院对于 PaperWeekly 的支持。TCCI 关注大脑探知、大脑功能和大脑健康。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

以上是关于CMU预训练模型最新综述：自然语言处理新范式—预训练Prompt和预测的主要内容，如果未能解决你的问题，请参考以下文章

最新《低资源自然语言处理》综述论文，21页pdf

自然语言处理预训练模型的研究综述

一文读懂！最新Transformer预训练模型综述！

一文读懂！最新Transformer预训练模型综述！

最新综述！NLP中的Transformer预训练模型

自然语言预训练模型知识增强方法综述