OpenAI创始人：GPT-4的研究起源和构建心法

Posted 2023-04-01 OneFlow深度学习框架

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了OpenAI创始人：GPT-4的研究起源和构建心法相关的知识，希望对你有一定的参考价值。

OneFlow编译

翻译｜杨婷、贾川、徐佳渝

三十年前，互联网（Web 1.0）时代开启。人们只能在笨重的电脑上用鼠标点击由html编写的网页文本，随后开始支持插入图片，可以上传视频，于是有了网络新闻、搜索、电子邮件、短信、网游......互联网带来了全新的商业模式，深刻改变了人们的生产生活。

三十年后的当下，以ChatGPT为代表的大模型问世了。起初人们拿它当玩具，直到ChatGPT的诞生与人类实现惊艳交互，自动生成文本信息，而刚刚发布的GPT-4更是进化成支持文本和图像的多模态大模型，还能理解图像、代码，目前已经接入到微软Office全家桶......

看到两者的共性了吗？

比尔·盖茨说，ChatGPT不亚于互联网的诞生。而OpenAI总裁、联合创始人Greg Brockman更直截了当：“我们会拿下Web 4.0。”在去年ChatGPT发布前与ScaleAI CEO Alexandr Wang的对话中他这样谈到。而在3月10日举办的SXSW 23大会的另一场对话上，他称：我们正在创建新型互联网或类似的东西。

多模态GPT-4更像往这一方向演化的雏形。在ChatGPT发布后，仅仅经过四个月的大约五次更迭，这个升级版模型展现出更震撼的效果和更大影响力。

这让一直在研究人类大脑运作机制的“深度学习教父”Geoffrey Hinton也不免感到激动：“毛毛虫提取营养物质，然后破茧成蝶。而人们已经萃取了数十亿理解的精华，GPT-4就是人类的'蝴蝶'（humanity's butterfly）。”他还评价了让ChatGPT大获成功的秘密武器：人类反馈的强化学习（RLHF）是在教育一个超自然早熟的孩子。

这使得人类与机器实现了动态互动，让机器的智能特征体现得更明显，不同于人类与传统互联网交互的静态方式。在Brockman看来，我们正走在一个充满活力的世界，AI将改变人们与信息互动的方式，它会理解并帮助你。换句话说，GPT模型在真正改变人机交互的方式。

GPT模型所取得的成就令人艳羡，不过这建立在OpenAI数年的技术探索和坚定信念上。

作为深度参与了GPT模型从0到1生产过程，以及推动GPT研究和工程落地的主要“幕后推手”，Brockman对此深有体会，“它并非试图像快速致富那样昙花一现，而是一直在缓慢积累价值，才有了指数级增长带来的巨大回报。”

人们好奇包括GPT-4、ChatGPT在内的模型在爆发前所经历的蛰伏和执着，尤其是有志于打造类GPT模型的研究者们很想知道，GPT模型是如何从最初的胚胎想法逐步被OpenAI培育成孩子的？这个孩子又将如何长成AGI？它在可预见的未来对这个世界会带来哪些变革？

对于这些疑惑，问Brockman再合适不过了。此前，在SXSW 23以及与Alexander Wang的两场对话中，他对此进行了详细阐述，OneFlow按QA形式进行了编译整理。（内容转载请联系OneFlow获得授权。）

ChatGPT的爆火

Q：ChatGPT是如何产生的？GPT模型当初发布时显得有些违反常识，但却在某种程度上掀起了最新的AI浪潮，这与你们当初构建这些技术时的预期是否一致?

A：ChatGPT、GPT-3、DALL·E 2这些模型看似一夜成名，但其实构建这些模型耗费了整整五年时间，饱含多年的心血。

GPT模型的构建要从2017年发布的情感神经元论文（Neural Sentiment Neuron: A novel Neural Architecture for Aspect-based Sentiment Analysis）说起，这篇论文的思想很新颖，不过很多人可能已经忘了。

OpenAI研究员Alec Radford对语言非常感兴趣，并致力于聊天机器人的研究。我们真的很喜欢Alec，非常支持他在我们去调研严肃项目时做任何他想做的事。

当时他负责的一个项目一直在训练LSTM模型，以此来预测亚马逊商品评价中的下一个字符。该模型能预测下一个字符，了解评价类型，还会像机器人一样学习，不过它也并非无所不知。

我们发现LSTM模型中的单个神经元有助于开发出SOTA情感分析分类器（sentiment analysis classifier），可以告知你文本情感（正面评价或负面评价），这一发现听起来平平无奇，但我们非常清楚地知道，这是一个超越语法并转向语义的时刻。

我们必须不断去推动。2017年底，Transformer问世，当时OpenAI联合创始人Ilya Sutskever立即发现这正是OpenAI一直在期待的模型。因此，尽管当时Transformer还并不完善，但我们基于它相继研发了GPT模型，基于对好的和糟糕的事实进行训练，以预测给定单词序列的下一个词。然后使用强化学习，让人类引导模型找到正确的答案。

我们内部运行的算法就是通过这些小方法来获取生存迹象（signs of life）。对于特定的数据集，必须非常小心才能区分出真正的生存迹象，否则就难以取得进展。但如果你的直觉准确，就会知道是时候加大算力和研究人员的投入，进行模型扩展了。

GPT-2的问世显然令人眼前一亮，通过函数曲线就知道模型越大，需要投入的算力和数据就越多，同时获得的工程细节就越多，曲线就变得更好了。我们的目标只是打破现有范式，不断改进模型，直到曲线趋于稳定。

一直到研发ChatGPT，我们所做的额外工作就是让模型更有“活力（alive）”，并创建了一个超级简单易用的交互界面，免费提供给所有人。

Q：ChatGPT是在去年11月底上线的，为什么会在这个节点发布？

A：准备发布ChatGPT时，我一直告诉团队，我们可以非常保守，比如拒绝做任何看起来有点草率的事情，最重要的是，不能在发布后的三天内就因为陷入舆论麻烦而关闭ChatGPT。

我们有数百个测试人员花了好几个月去做测试，但这与让它完全暴露在充满多样性和对抗性的真实用户使用环境中非常不同。

从2020年6月开始，我们已经做了很长时间的迭代部署，第一次开放产品的API给普通用户肯定很紧张，但我确信团队能应付自如。

Q：ChatGPT正式上线两个月内用户超过1亿，成为历史上增长最快的应用，而Facebook用了4.5年，TikTok用了9个月达到类似的成就。现在所有人都在讨论ChatGPT，为什么它会成为杀手级应用？

A：实际上，我经常思考这个问题，ChatGPT背后的模型大约是在一年前研发的，所以并不是新技术，但它的不同在于对话更具一致性，你真的可以和它对话，它会做你想要做的事。其次，我们让用户很容易就可以体验它的能力。

非常有趣的是，随着ChatGPT真正开始流行起来，人们可以看到，相当长一段时间内技术可能做到的事情以及实际能做的事情之间的差距。确保人们知道事物的发展方向真的很重要。对我来说，这也许是最大的收获。

Q：你认为生成式AI最有趣和最具颠覆性的用例是什么？

A：我想讲一个个人轶事。医疗诊治绝对是一个高风险领域。几年前，我妻子得了一种神秘的疾病，她的腹部右下方感到疼痛，会是阑尾炎吗？我们看了两个医生都认为是细菌感染，开了不同的抗生素，但都无济于事。第四个医生做了超声波检测才找到了病因。

而当我把那些症状输入到ChatGPT中，给出的答案是：第一，确保不是阑尾炎；第二，卵巢囊肿破裂，而这正是确诊的病因。但我不想让它取代医生，也不想让它告诉我去服用这种超级罕见的抗生素。

Q：ChatGPT有时会一本正经地胡说八道，就像醉酒的疯子。

A：确实，所以在使用过程中更要有信息甄别能力。其实ChatGPT的准确性很高，只是我们在训练过程中损坏了一些信息。我很高兴人们通过与其交流来缕清思路，只将其当做一种全天候待命的认知辅助工具。

Q：你能分享一下关于GPT模型未来版本的想法吗？它是否会更谨慎、更具创造力？

A：先解释下我们是如何构建这些系统的。第一步，我们需要训练一个基础模型，它的目标只是预测下一个单词。我们会给这个模型提供大量的文本数据，但并不会告诉它哪些信息是正确的。这个模型需要在这些文本数据中学习，并且在这个过程中必须考虑所有上下文信息来预测下一个词。所以这个模型同时也会习得偏见、意识形态和思想等信息。

第二步是进行人类反馈的强化学习（RFHL），也被称为后期训练（post training）。在这一阶段，我们会从大量的文本数据中选择有用的数据，告诉它如何正确地处理数据。

然而，还存在一个非常重要同时又非常棘手的问题，那就是AI应该做些什么？谁来作出这个决定？这是一个非常不同的议题，我们正在不懈努力让它具有合法性（legitimacy）。我们发现，基础模型本身实际上是根据其不确定性进行校准的，但这对后期训练来说是一项需要解决的工程性难题。

自去年12月以来，我们已经发布了四到五个不同版本的ChatGPT，例如事实准确性和幻觉问题均已得到了改善。这得益于通过后期训练不断改进。

我相信，未来我们将会拥有更加准确、能够自我检查工作质量、知道何时拒绝、何时提供帮助的GPT系统，同时还能协助人类完成更加艰巨的任务。

构建GPT模型的信念

Q：很多人在初次使用GPT-3时就深受震撼，尤其是模型的定性新行为（qualitatively new behaviors），而不只是模型在既定任务上的良好表现。你看到早期模型成果时是否会感到这很神奇？

A：当时的结果令我十分兴奋。我们只需要写出函数名称和文档字符串就能真正编写出函数，尽管不是十分复杂的函数，但它能够根据要求写出代码，做一些小小的修改就能满足需求。

有趣的是，以前我们认为模型只在特定数据分布中表现出色，一旦超出分布范围就会出现问题，而GPT-3的范式可以应用于不同的数据分布。你会发现模型具有泛化能力，而且对已知的数据，泛化能力更强。

那模型对于未知的数据的泛化能力怎么样？人类不太擅长未涉足的领域，而模型可以从大量不同配置中学习并提取有用信息，这简直不可思议。

Q：在开发GPT-3的过程中，需要投入大量的计算资源，而且实验也不一定能成功，这需要很大的信心和决心。在整个过程中，你是否怀疑过自己，或者是否相信只要不断进行尝试就能取得成功？

A：实现模型扩展并不是想当然的事，需要不断尝试才能找到最佳解决方案。有趣的是，当我们得到首个扩展结果时，确信这是正确的方法，可以一直推进，直至获得最佳结果。

我们研究DOTA这款游戏整整三年。一开始，我们对这款游戏一无所知，经过不断努力打败了游戏开发商内部的团队，最终成功击败职业团队。期间，我们进行模型扩展，并且解决所有bug，在每一个维度上不断迭代，从而获取更好的回报。这同样适用于GPT-2模型扩展，其迭代过程相当复杂，为此还需要分配出大量的计算资源，这需要具备坚定的信念。

另一方面，模型扩展是迭代的过程，因此你不必考虑会做出不可逆转的决定，因为每一步都能从现实中得到反馈，这样就可以从大局思考“如果这个方案成功了会怎样”。同时，还能确保你已为成功做好了准备。

不过，也不要盲目将一整年时间都花在可能不会取得预期结果的事上。平衡这两者才是关键所在。

Q：从DOTA和情感神经元中学到的东西是你们制胜的关键。虽然从外部看，这些零散的知识不是很直观，但将其整合在一起就为扩展和构建GPT-3指明了方向。这好像就是创新的方式：将各种实验成果整合在一起，就构建出了新事物。

A：这就是第一性原理的实践。

3
为何看好AI的发展

Q：2017年左右，AI算法还非常弱，但你就坚信AI的能力会逐渐提升，拥有很好的发展前景，为什么你会对AI有如此乐观的态度？

A：在某种程度上来说，这其实是一种直觉。我在上学时就对NLP非常感兴趣，还找了一位这方面的专家，请求与他做NLP方面的研究，他同意了。他给我讲解了一些NLP领域的相关内容，但听完后觉得，NLP不是我想要的东西，因为它没有正确的特性（properties），就好像我们在NLP系统中投入了大量精力，做了大量工作，但却无法说清楚语言到底是如何运转的，仿佛缺少了某种内在的东西。相反，神经网络的运作就非常清晰，神经网络系统就像海绵一样大量吸收数据、算力，它有正确的形状因子（form factor）。

但我们忽略了一件事，那就是这个神经网络能否被训练，要考虑是否有足够的数据、算力、是否有足够的能力等。

2012年，Alex的论文让神经网络重获关注，我认为这是神经网络领域取得的第一个重大成果。人们在计算机视觉研究方面花了几十年的时间，但CNN的出现让这一领域有了质的飞跃。

这就好像是一些原本彼此隔绝的部门的隔绝状态一天天被打破，清楚地表明某些事情即将发生，有某种巨大的潜力正在等待被挖掘。

Q：你们是否怀疑过技术方面的选择，还是说一直都很有信心，从未动摇过？

A：在这个过程中，我们难免会质疑所做的选择，怀疑策略是否正确，所做的事是否正确。比如我们会进行多次计算以确定模型大小，因为犯错在所难免，必须找出这背后的原因，毕竟不能指望AI去找原因。

扩展定律（scaling law）就是一个很好的例子，我们做这个研究是为了更科学地理解模型在各个函数图轴上的提升方式，我们不断给模型提供算力和数据，但终究有限。多年以后，我们突然意识到对这条函数曲线的理解有误，因此，我们又投入了大量的token和数据去训练模型。

从下游结论来看，训练数据太少，所以得出的结论就不太对。之后在某个时刻，你会突然意识到原来问题出在基本假设上，这样一切就都说得通了。

我一直有一种感觉，在工作中如果坚持不懈，不断探索，做到极致，将是最激动人心的时刻，这意味着我们触及到技术领域的极限，真正做成了一些事情，同时也意味着终于能看清下一步的方向。

Q：这让我想到了Stripe公司的运营原则之一：宏观上乐观，微观上悲观。这句话很能引起共鸣，在面对技术问题时，我们必须要做好最坏的打算，但显然，从长期来看，你对自己的工作一直很有信心。

A：是的，这是一个充满激情与活力，拥有强大力量的领域，我们要怀有敬畏。

这些模型最初只是一堆随机数字，在数字的基础上人们发展出了超级计算机，海量数据集，我们做了算法开发等大量的工程工作，然后再进行整合。

神经网络是独一无二的技术领域，从根本上来说，它就像是一块海绵，我们只需要喂入数据，就能训练出模型，这个模型可以重复使用，可以处理跨领域的工作。而传统软件需要人工去写下所有规则，从这些规则中得到反馈，人们也许可以利用Spark集群来处理一些事务，但我并不想这样做，我对神经网络更感兴趣。

Q：在创办OpenAI之前，你担任过Stripe首席技术官，这两家企业可以说都是业内标杆，但它们有何异同？

A：很有趣的一点是，当这两家公司面临问题时，采取的思维方式都是第一性原理思维。

Stripe在产品预发布时激起了一定的浪花，究其本质是我们在早期就拥有一定的客户。当时，一位做风险投资的朋友想知道产品预发布成功的秘诀。当我告诉他不过是改进了付款方式，他一脸的不可思议，但那其实就是秘密武器。

我们从第一性原理出发，即事物的本质出发去重新思考做事的方式，而非一味地照搬他人做法。我们会问自己：应该怎么做？难点在哪儿？有必要这样做吗？

OpenAI在AI领域做事的方式与之前相似。为了进军AI界，我们雇佣了很多接触过该领域的员工，不过也有人从未涉足过Ai，而是以初学者的身份进入AI界。在我看来，以这种方式进入一个未知领域能免受其常规做法的束缚，一切从零开始，排除外在因素的影响。

两家公司之间也存在差异。对Stripe而言，它开发了传统的Playbook，在思考出创新点后，就对产品进行构建、打磨，而且在构建产品的第一天就有目标客户。OpenAI则需要研究客户是谁，从2015年底开始，到2020年我们才拥有了第一款真正意义上的产品。

因此，要弄清楚做什么以及能做好什么，而对这些事情的思考都源于组织内部而非外部。

4
乐观看待AI的潜在风险

Q：人们对OpenAI的研究也有很多担忧，比较忧心技术方面潜在的负面影响。人们说AI将取代我们的工作。那么，哪些职业的风险最高？

A：过去，人们认为AI将首先替代那些从事体力劳动的工作，但实际情况并非如此。现在，AI在认知方面的发展已经取得了巨大进步（例如写诗），但在物理性质的事物发展上却没有非常大的进步。

这表明，AI的发展进程与人们的预期相差甚远。此外，仍有一些工作无法实现自动化，这表明人类的能力比我们想象得更强大。

作为一名程序员，我的期望是能够借助工具提高工作效率。目前，我们使用的AI代码助手Copilot能够自动补全代码，对于一些不太熟悉编程语言或特定的库函数的人来说非常有用。而ChatGPT更强大，可以帮助我们编写整个函数，或者根据需求编写聊天机器人框架。

未来的编码过程将会变得更加简化，我们只需做出设计决策，而不必亲自编写每一行代码，这将大大提高工作效率，同时也可以帮助我们在职业上更进一步。

Q：如果将认知能力都外包给AI，那么人类的智力会不会有下降风险？

A：这也是最让我彻夜难眠的事。放在以前，这种趋势可能会令人兴奋，但我发现，人们逐渐不再喜欢阅读和思考。所以在这项新技术来临之前，我们要确保如何使其成为人类的“智力倍增器”而非“削减器”。

人类真正需要的是能为我们分解问题的“导师”，而不是帮我们全盘解决问题的AI。正所谓授人以鱼不如授人以渔，只有这样我们才能走得更远。

Q：随着数据、算法和计算规模的不断增长，大公司会竞相构建更大、性能更好的超级计算机，而拥有更大的超级计算机就意味着比其他超级计算机更具优势，这种情况会成为未来的发展趋势吗？是否能找到一种更开放、更有用的方式，避免它成为大公司之间的竞争工具？

A：未来的发展趋势就像计算技术在更多领域的重演。未来仍然会出现只有少数人掌握的越来越庞大的超级计算机，能创建出常人无法构建的超级大模型，但这并不会削弱人们利用这些模型所做事情的价值。

我认为，超级强大的、具有双重用途的、极度复杂的系统，像风力涡轮机那样将分散在各处的、更加容易掌控的系统之间进行权衡是很重要的。对于非常强大的新兴技术，必须采取双重解决方案。

随着技术的发展，人们对AI的看法也发生了变化，开始发现AI真的有用。朋友们，是时候开始构建（AI）了。

Q：有研究表明，当前科学发展的脚步整体上在放缓，而AI相对在逐步加速甚至正走向复兴。你是否担心AI的发展在未来也会放缓？

A：事物总是呈S型曲线发展，而且通常会有范式转变。Ray Kurzweil的《奇点临近》一书介绍了计算机不同行业的发展曲线，展示了各种性能的时间变化。100年来，我们差不多经历了五次不同的范式转变，才创造出了当前的计算机。我们当下在做的事情也会是S形曲线，并出现范式转变，这体现了人类的创造力。

另一方面，范式是否发生转变并不重要。现在AI的重点是它的用途，我们希望通过AI来提升计算机的能力，让计算机发挥更大的作用，当然，它也带来了一些新问题，但总的来说，它解决的问题要比创造的问题多得多，并且改变了人类的交互方式。

在AI领域，我们取得了一些新的突破，以GitHub Copilot为例，它能在很低的时延下完成代码的自动编写，但如果时延超过了1500毫秒，那么该工具就没有人会使用。

现在有些事情人类实现不了，但可以用机器来辅助我们完成，这才是重点。如果我们正在做的事情发展进入停滞，也并不影响它们能创造的价值。

Q：你对AI发展的最大顾虑是什么？

A：人们对于AI的看法一直都比较有意思。如果回到十年前，你翻开任何一篇文章，或者说问街上的任何一个人关于AI的看法，一定都是负面的，人们对于AI的看法一直都比较复杂，混合着恐惧的情绪。人们有时能看到AI的潜力，有时看不到，但是大家一直在试图看清AI。

我完全赞同人们所说的，既要看到AI好的一面，也要看到坏的一面，不能做一个盲目的乐观主义者，也不能完全悲观，好像人类快要走向灭亡一样，这两种看法都是有问题的。

AI发展将经历不同的发展阶段。现在面临的最大挑战是滥用问题，系统本身还不是那么强大，但其实问题的根源在于背后的人心，虽然文字具有强大的力量，但不会直接影响这个世界，问题出在人们的行动上。我们要在社会和技术层面找到避免滥用的方法并对系统进行监督，这至关重要。

另外，将来系统本身会变得十分强大，假设系统在没有监控的情况下与多人互动，将产生什么样的影响？对于这种情况OpenAI已经有所警觉，我们要建造与全人类价值观相符的系统，有选择性地让特定价值观进入到系统当中。当然，要做到这一点并不容易。

5
AI的未来发展方向

Q：AI在哪些方面有值得期待的应用场景？

A：AI真正能做的是增强人类现有的能力，在写作、编程和娱乐等知识工作方面就是如此。最令我感到兴奋的是，技术门槛将会降低。对于那些有创意并想付诸实践的人来说，AI会为他们提供一个“完整的创意工作室”。专业人士也将有机会创造出比任何业余人士都更好的东西。

AI不仅不会使人们的技能消失，反而还会使生产力倍增。比如激发人们的创造力，不会画画的人现在可以通过模型创造出各种图像，现在我们可以让自己脑海中的画面真正出现在纸面上。比如3D设计师们可以先利用DALL·E对他们想要的东西进行渲染，然后再开始制作。

很多人都看过《权力的游戏》，但我知道结局却没能遂每个人的愿。有了AI，人们就可以制作自己想要的结局，甚至将自己作为主角代入其中。有人可能会说“我并不需要”，但这就像口袋里的手机，你可以不用，但需要的时候，它就能派上用场。

Q：你怎么看待AI的未来？

A：AI仍然会是一个活跃且多变的领域，它的发展也许会出乎所有人的意料。我们的任务是尽可能地为AI发展提供便利。

最早一批利用GPT-3提供服务的客户估值已经达到了数十亿美元。看着模型为如此多的人创造巨大价值，是一件很有成就感的事情。

未来十年，这些模型将快速发展，应用将无处不在。AI的发展会和互联网类似，1990年，人们对互联网还知之甚少，21世纪初，人们开始对互联网感兴趣，这时机遇与挑战并存。现在，互联网已经成为商业发展中不可分割的一部分。

我们的任务就是开发通用人工智能，去建造出一种能够处理所有任务的全能机器，并将这一技术开发到极致，让它们在最具经济价值的工作上达到超越人类的表现。要做到这种程度只是时间问题，当这些工具真的发展到了如此有创造性的地步，且能够超越人类的时候，它们甚至会自发地开始工作。

未来，我们还不知道AI的价值会如何分配，也不知道该如何利用AI来解决人们目前难以应对的挑战，例如气候变化、大学教育等等。

Q：这些技术出现的时机也很有意思，去年，人人都在讨论Web 3.0是加密货币（crypto），但如今看来，AI才是真正的Web 3.0。

A：我们会拿下Web 4.0。

Q：你提到两个非常有意思的方向，一是GPT模型等现存技术的进步，它们在商业上的应用越来越广泛，二是通用人工智能算法的持续提升。目前来看，AGI的发展方向会是怎样的？

A：人类很早以前就开始了对通用人工智能的研究，这点仅从神经网络的发展历史就可以看出。2012年是改变世界的一年，算力需求每年增长10倍，而且还在持续增长。回报开始变得可预期，所以我们要投入更多的资金来建造大规模的超级计算机。

通过注入更多算力、更好地利用反向传播神经网络技术，构建更强大的模型，这个流程是很固定的。但其中的细节可能会有所变化，比如你想要开发GPT模型还是Whisper、注入语音数据还是从互联网注入文本数据，这些细节可能很重要，这关系到你要做什么，要下载什么资源。但如果放大视角看待这项技术，这又没那么重要。

我们学会了利用扩展定律来进行所有的科学调整，务必要确保这些模型不仅聪明，而且与人类的意图保持一致。我们的目标是每年都做一些以前不可能做成的事情。

我们正在构建的东西就跟构建计算机一样。在摩尔定律的辉煌时期，新芯片层出不穷。因为要想建立最好的计算机，只需要不断构建下一个最好的芯片，并持续对技术中的各部分进行改进。

比 GPT-3 更擅长理解用户意图，OpenAI发布 InstructGPT

作者 | 青苹果

来源 | 数据实战派

近日，OpenAI 发布了一项令人瞩目的研究—— InstructGPT。

在这项研究中，相比 GPT-3 而言，OpenAI 采用对齐研究（alignment research），训练出更真实、更无害，而且更好地遵循用户意图的语言模型 InstructGPT。论文题为 Training language models to follow instructions with human feedback。

以往，GPT-3 也很可能产生不真实、有害或反映不良情绪的输出。这在一定程度上是因为，在互联网文本的大数据集上，训练 GPT-3 来完成下一个单词的预测，并非是安全地执行用户想要的语言任务。换句话说，这些模型与其用户可能实际上并不一致。

为了让模型更安全、更有用、更一致，OpenAI 使用了一种称为从人类反馈中强化学习（RLHF，Reinforcement Learning from Human Feedback）的现有技术。根据客户向 API 提交的反馈，OpenAI 对模型的多个输出进行排序。然后，OpenAI 使用这些数据来微调 GPT-3。

由此产生的 InstructGPT 模型，在遵循指令方面，远比 GPT-3 要好得多。而且，它们也较少的凭空捏造事实，有害输出的产生呈现小幅下降趋势。InsructGPT 的参数量为 1.3 B。

InstructGPT 模型，已经在 API 上进行了一年多的测试，现已成为 API 上可访问的默认语言模型。OpenAI 相信，用 RLHF 的解决方案来微调语言模型是提高安全性和可靠性的强大工具。

这也是团队多年来首次将对齐研究应用到产品上。

实验结果

OpenAI 将 InstructGPT 的输出与 GPT-3 的输出进行比较，以评估InstructGPT 的输出是否很好地遵循了用户指令。

结果发现，在 API 上，对于提交给 InstructGPT 和 GPT-3 模型的提示，InstructGPT 模型明显更受欢迎。当 OpenAI 为 GPT-3 提示符添加一个前缀，使其进入“指令跟随模式”时，这一点是成立的。

为了衡量模型的安全性，OpenAI 主要在公开可用的数据集上使用了一套现有的度量指标。

与 GPT-3 相比，InstructGPT 产生的模仿性谎言更少，危害更小。OpenAI 还对 API 提示分布展开了人工评估，结果显示，InstructGPT 捏造事实（“幻觉”）的频率更低，而且还能生成更恰当的输出。

最后，OpenAI 发现在客户分布上，InstructGPT 的输出要优于那些来自 FLAN 和 T0 的输出。这表明用于训练 FLAN 模型和 T0 模型的数据，主要是学术 NLP 任务，并不能完全代表部署的语言模型在实践中的使用情况。

为了训练 InstructGPT 模型，OpenAI 的核心技术是 RLHF，这是 OpenAI 在早期对齐研究中帮助开发的一种方法。该技术利用人类的偏好作为奖励信号来微调模型，这一点很重要，因为 OpenAI 旨在解决的安全性和对齐问题是复杂且主观的，并且无法被简单的自动度量指标所捕获。

OpenAI 首先在提交给 API 的提示上收集人工编写的演示数据集，然后用它来训练监督学习的基线。

接下来，在更大的 API 提示集上收集两个模型输出之间的人工标记的比较数据集。然后，在此数据集上训练奖励模型（RM，Reward Model），以预测 labelers 更偏爱哪一种输出。最后，使用 RM 作为奖励函数，并通过 PPO 算法微调 GPT-3 策略来最大化这个奖励。

可以用以下方式来思考上述过程，它“解锁”了 GPT-3 已经具备的功能，但很难仅通过提示工程（promptengineering）来实现：这是因为相对于预训练学到的知识而言，OpenAI 的训练程序在帮助模型 get 更多技能方面的确能力有限。相比于模型预训练，它使用的计算和数据甚至不足 2%。

这种方法的局限性在于它引入了“对齐税”（alignment tax）：模型如果只对齐客户任务，可能会使其在其他一些学术 NLP 任务上的性能表现更差。

显然，这是不可取的，因为如果 OpenAI 的对齐技术使模型在人们关心的任务上变得更糟，那么，他们在实践中被采用的可能性会有多小便可想而知。不过，OpenAI 发现了一种简单的算法更改，可以最小化这种对齐税：在 RL 微调期间，OpenAI 混合了一小部分用于训练 GPT-3 的原始数据，并使用正常的对数似然最大化训练这些数据。

这大致维持了安全性和人类偏好的表现，同时还降低了学术任务的性能表现，在某些情况下甚至超过了 GPT-3 的基线。