没有银弹，ChatGPT并不是凭空出现的神话。

Posted 2023-03-08 turingbooks

ChatGPT热度高居不下。从12月至今，其热度已经持续了三个月有余，甚至还有继续延续的趋势。

• ChatGPT上线后的短短5天内，用户破百万，一朝引爆全网关注，AI概念股价格飙升。

• 新版微软Bing上线内测，一个更加智能和显示引用来源的聚合型搜索助手出现。

• 国内大厂纷纷官宣自家布局，不甘落后。百度官宣“文心一言”，阿里、京东、腾讯等也放出类似消息。

• 复旦大学团队发布类ChatGPT模型MOSS，由邱锡鹏教授团队打造。

先行者已经迈出脚步，作为未来新时代的预示产品，ChatGPT到底为何出现？

背后的技术

以下部分内容来自王守崑老师在12月份的文章：

ChatGPT 的基础模型是 InstructGPT，而InstructGPT 是在 GPT-3 基础之上，增加了人工标注数据以及 OpenAI API 开放后用户提交的提示词(prompts)，并利用基于人工反馈的强化学习模型精调GPT-3模型做得到的。

因此，ChatGPT 的基础依旧是 GPT-3（确切的说是InstructGPT，为简便起见我们使用GPT-3），OpenAI 官方称其为 GPT-3.5。

自然语言处理包含一系列的常规任务，比如翻译、问答、阅读理解、完形填空、摘要、提纲、推理、补全、文章撰写等等。

通常会事先训练一个语言模型作为基础，根据不同的场景和任务做一定的精调。

因此，这个事先训练好的模型决定了解决问题的基本能力。过去几年，在自然语言处理领域的重大进展，就是模型的规模越来越大，训练所需的语料越来越多。

预训练模型规模

有了GPT-3这个语言模型作为基础，ChatGPT 引入了两项非常重要的改进：

• 引入优质的人工标注数据，以及积累的用户交互数据做问答精调

• 引入强化学习模型，针对用户意图做优化训练

事实上，这正是为什么 ChatGPT 在问答这项任务上表现如此之好的原因，用论文里的原话说，就是：

aligning language models with human intent.
让语言模型与人类的意图保持一致

GPT-3 是一个基础性的预训练模型，它更像是一个具备通用能力的底座，对外提供能力输出。

ChatGPT 则是架构在其上的具体应用，利用其能力，结合场景特点完成服务。

在问答这个任务中，用户的感受是第一位。并且，这个感受并不是一个非黑即白的开关，而是多维度的评价。

OpenAI 特意严格挑选并组建40人的团队，专门为 ChatGPT 做问答标注，确保这个团队的知识性、多样性和最大程度降低偏见。

多加的这一层强化学习，就是要保证这部分高质量的标注数据进入到模型中形成正向循环，确保“人类的意图”得到贯彻。

基于人类反馈的强化学习框架

高质量的数据 + 强化学习，这更多的是在基础的预训练模型之上针对特定场景、特定任务的优化，基础的模型还是 GPT-3 的 Transformer，因此 OpenAI 把它叫做 GPT-3.5 而非 GPT-4。

说起这个 Transformer（是的，和变形金刚是一个词，微软和NVIDIA联合搞了个更大的模型叫 Megatron，威震天，用的也是 Transformer），算是近几年在深度神经网络领域最重要的进展之一。

包括最近一直很热的图片生成服务 Stable Diffusion，其语言理解部分也使用了 Transformer 模型。

相比CNN（Convolution Neural Networks，卷积神经网络）和 RNN（Recurrent Neural Networks，循环神经网络），在自然语言处理任务中，Transformer 通过注意力机制能够在理解上下文的同时，更好的保持对全局的关注。

因此，最近几年越来越多的团队把精力投入到这个模型之中。

强化学习则一直以来在游戏和交互式任务中有非常好的表现，我个人也始终认为强化学习和人类学习知识、适应环境的模式更相似，通过强化学习模型训练出来的行为以及整个的训练过程，我们人类更容易理解、更能够从中获得启发。

这两项技术的结合，在对话这样一个需要重度用户参与、以用户的主观感受为评价标准的场景下，产生了出人意料的惊艳效果。

因此，与其说是单纯的技术突破或更新换代，不如说是技术与场景的完美结合造就了ChatGPT 现象级的成功表现。

技术进展本身也是层层累进、不断迭代而来的，没有什么凭空出世、横扫天下的神话，也没有什么是能解决所有问题的银弹。

有意思的应用

ChatGPT当前更多地是在语言文字的处理上，还没有开始理解语音、图片等等。当ChatGPT开始多模态融合，可以预见的是未来我们会有更多有意思的应用出现。

据可靠消息，越来越来的企业开始接入“类ChatGPT”的产品，赋能或整合进自家应用，降本增效，辅助业务运转。

AI可能会在未来，在多个方面帮助人类工作，一片新的商业蓝海正等待我们探索。

3月4日晚8点

对谈｜王守崑X刘江

ChatGPT背后的产品技术与思想脉络

直播议题

• ChatGPT成功出圈的产品技术因素有哪些？

• 大模型的边界到底在哪里？

• AI商业化的机会和挑战有哪些？