GPT-4 介绍

Posted 2023-03-28 AI强仔

1 简介

本文根据openAI的2023年3月的《GPT-4 Technical Report 》翻译总结的。

原文地址：https://arxiv.org/pdf/2303.08774.pdf

原文确实没有GPT-4 具体的模型结构，openAI向盈利组织、非公开方向发展了。也没透露硬件、训练成本、训练数据、训练方法等。不过也透露了一些思想，比如提出了根据模型小的时候，预测模型大的时候的表现。

GPT-4开始多模态了，支持图片和文本输入，输出文本。GPT-4模型还是沿用AR模型的思路，transformer模型，在一个文档中预测下一个token。GPT-4除了预训练，增加了强化学习微调，即使用了Reinforcement Learning from Human Feedback (RLHF) 。

GPT-4在一些考试如司法考试上取得了top 10%的成绩。而GPT-3.5的成绩在底部10%。

2 预测扩展性

GPT-4是非常大的训练成本，它不能灵活进行特定任务的微调。为此，我们开发了一个基础结构和优化的方法，可以根据模型小的时候，预测模型大的时候的表现。比如使用千分之一到万分之一的GPT-4计算成本就可以预测GPT-4的效果。

loss预测可扩展性

提出了下面公式，可以通过小模型预测GPT-4的loss。

如下图，设GPT-4计算成本为1，x轴前面的就是小模型，y轴是损失loss。随着模型增大到GPT-4，损失loss可以通过小模型进行预测。

HumanEval验证数据集上能力的预测扩展性

提出了下面公式，可以通过小模型预测GPT-4的能力。

其中k和a是正常数，P是验证数据集的一个问题集合子集。

如下图，设GPT-4计算成本为1，x轴前面的就是小模型。随着模型增大到GPT-4，大模型能力可以通过小模型进行预测。

3 GPT-4能力

如下图，GPT-4比GPT-3.5更好的通过各种学术和专业考试。

GPT-4在考试方面的能力不是太依靠强化学习RLHF，在多项选择题上，GPT-4和RLHF模型的表现差不多相等。

4 视觉输入

GPT-4支持图片和文本的任意排列的输入。

如下图，问GPT-4图片中有什么有趣的事情？分别逐张描述。GPT-4准确的描述出：图片将过时的VGA连接头插入现代手机进行充电。

5 模型缺点

GPT-4和以前GPT版本有类似的限制，最重要的是它不是完全可以信赖的。

GPT-4的训练数据是截至2021年9月的，所以没有最新的新闻事件。有时它也会犯错，或者被用户欺骗。它也不能处理很难的问题（人类可以处理）。

GPT-4有时可能对自己的输出过于自信。

6 缓解风险

a)利用专家知识对抗测试（Adversarial Testing via Domain Experts）

b)搭建模型安全助手（Model-Assisted Safety Pipeline）：包括两个主要成员，一个是利用额外的进行安全相关的RLHF训练提示数据集，一个基于规则的奖励模型（RBRMs）。

rule-based reward models (RBRMs)是一个zero-shot的GPT-4分类器。这个分类器在GPT-4进行RLHF微调时提高一个额外的奖励信号，使得GPT-4倾向于正确的行为，拒绝生成有害的内容，或者不要拒绝无害的请求。

c)Improvements on Safety Metrics:在RealToxicityPrompts数据集上，GPT-4仅有0.73%的时间产生有毒的内容，而GPT-3.5是6.48%时间产生有毒内容。