如何客观的分析 ChatGPT技术

Posted 2023-02-27 简简单单OnlineZuozuo

文章目录

• 如何客观的分析 ChatGPT技术
• • • • 1、GPT 自己的分析
      • 2、我的理解
      • 3、预训练模型

如何客观的分析 ChatGPT技术

---

1、GPT 自己的分析

2、我的理解

OpenAI 发布的基于 GPT-3 模型构建的 ChatAI ，使用起来有许多的惊艳之处，但是我们也不得不看到他的局限性
GPT-3 是一个预训练模型，预训练模型有很多的不足之处仍然需要攻关

3、预训练模型

预训练模型会事先采集海量的数据，对 AI 模型进行训练，但是运行这些预训练模型存在如下的限制或者困难

1. 构建一个预训练模型需要至少数千万美元，这是一个极大的门槛（创建和使用）
2. 预训练模型需要大量的 GPU 才可以加载（服务门槛）
3. 作为后来者使用预训练模型进行创新时，如何保证数据对齐对他们来说是一个巨大的挑战
4. 基于预训练的模型会在之前的海量数据中，对某些事情存在偏见 （这意味着海量媒体数据可以引导模型走向）
5. 预训练模型无法得到数据的时效性，对于数据集后面发生的事情无法知道