ChatGPT——一个新的时代又要来临了

Posted 2023-04-04 longlongValue

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ChatGPT——一个新的时代又要来临了相关的知识，希望对你有一定的参考价值。

文章目录

ChatGPT中GPT的全称是什么
ChatGPT发展历程
ChatGPT能帮我们做什么
快速开始

ChatGPT中GPT的全称是什么

GPT，英文全称是Generative Pre-trained Transformer，直译过来是生成型预训练-变换器，是OpenAI公司基于谷歌的Transformer语言模型框架而开发出来的技术。名字前面加上chat，即“聊天生成型预训练-变换器”。

ChatGPT是一种基于AI的聊天机器人，它可以像人类一样与用户进行交流，帮助用户解决问题，或者与用户交谈、讨论。ChatGPT利用自然语言处理（NLP）技术，使用语义理解和自然语言生成来管理数据，以便与用户进行有意义的对话。

ChatGPT发展历程

从算法模式的版本上，ChatGPT经历了GPT-1（2018年）、GPT-2（2019年）、GPT-3（2020年）、InstructGPT（2022年初）和GPT-4（2023年初）五个版本。

GPT-1（2018年）：仅需要对预训练的语言模型做很小的结构改变，即加一层线性层，即可方面地应用于下游各种任务。
GPT-2（2019年）：使用zero-shot设定，基本实现一劳永逸，训练一个模型，在多个任务上都能使用。
GPT-3（2020年）：不通过任何样例学习，而是利用少量样本去学习，更接近人脑学习模式。
InstructGPT（2022年初）：经过多任务的微调后，能在其他任务上实现zero-shot预测，泛化能力极大提升。（InstuctGPT可以理解成是GPT-3的微调版本，与GPT-3相比更擅长遵循指令，回答更真实，且有害情绪输出大幅下降）。
GPT-4（2023年初）：多模态大模型，即支持图像和文本输入以及文本输出，拥有强大的识图能力，文字输入限制提升到了2.5万字。GPT-4的特点在于，第一，它的训练数量更大；第二，支持多元的输出输入形式；第三，在专业领域的学习能力更强。

ChatGPT能帮我们做什么

1、作为聊天机器人： ChatGPT可用于创建能与用户进行对话的聊天机器人。这可能对客户服务很有帮助，因为其可以提供信息，或者只是为了好玩。
2、作为一个问答系统： ChatGPT可以进行微调，以回答特定类型的问题，例如与特定领域或主题相关的问题。这对于创建虚拟助手或其他类型的信息提供系统很有帮助。
3、作为对话代理： ChatGPT可以用于创建与用户进行对话的虚拟代理或虚拟化身。这可能对社交媒体应用程序、游戏或其他类型的在线平台很有帮助。
4、作为文本生成工具： ChatGPT可用于根据输入数据生成类似人类的文本响应。这对于为社交媒体、网站或其他应用程序创建内容很有帮助。

很多很多的例子：

快速开始

ChatGPT文档

注册的时候手机号可以在SMS Receive Free (免费)墩一个，要有耐心，一个一个来，都不行的话就等更新。
该站提供的号码只包含加拿大和美国的。每个国家的号码都有14个，每天会上一个新的号码。新号码上线后会替换掉最后一个号码。也就是说每个号码最少可以使用14天。（PS：有人说美国的不太行，加拿大成功的不少）

AI时代来临，如何把握住文档处理及数据分析的机遇

前言

在3月18日，由中国图象图形协会（CSIG）主办，合合信息、CSIG文档图像分析与识别专业委员会联合承办的“CSIG图像图形企业行”活动将正式举办，特邀来自上海交大、厦门大学、复旦、中科大的顶尖学府的学者与合合信息技术团队一道，以直播的形式分享文档处理实践经验及NLP发展趋势，探讨ChatGPT与文档处理未来。

所以本篇文章就来对此次直播内容做一个整理复盘，谈一谈直播的主要内容及观点探讨。

一、生成式人工智能与元宇宙

展会开场主要介绍了生成式人工智能与元宇宙相关的内容。

主要分为元宇宙生成式人工智能的思考、生成式世界模型 及 生成式模拟数字人几部分。

核心内容可以参考下面整理的脑图：

该部分主要介绍了生成式人工智能为构建基于视觉直觉的物理世界模型和虚拟数字人提供了可行的途径。

看完这部分让我感受最深刻的地方就是现在人工智能的发展的势头已经愈发不可收拾，自从OpenAI 发布的人工智能模型ChatGPT发布之后，在此让人工智能站在了风口之上。所以在当前这个背景下，我们要对这部分的内容多做研究，如果把握住这个机遇，未来肯定会对自身及社会的发展都有一个极大的好处。

未来，我们可以期待ChatGPT在更多领域得到应用，例如金融、医疗、法律等。这将有助于推动人工智能技术的发展，促进人机交互和智能化生产的进一步发展。

同时通过数学、物理、信息论、脑认知、计算机等学科交叉，进一步巩固生成式人工智能的基础理论。
“物理+数据”联合驱动。“虚拟+现实”深度融合。生成式AI直觉有望加速科学发现、物理合成、元宇宙构建。

二、面向图像文档的复杂结构建模研究

这部分主要介绍了文档智能结构化研究背景，基于部首建模的汉字识别、生成与测评，基于SEM的表格结构识别，基于文档预训练模型的篇章级文档结构化。

文档智能结构化研究背景部分

基于部首建模的汉字识别、生成与测评部分

基于SEM的表格结构识别部分

基于文档预训练模型的篇章级文档结构化

通过这部分内容可以让我们了解到在人工智能领域遇到图像文档时需要怎样处理，以及在面对复杂的结构时该怎样实现具体的功能逻辑等。

同时也让我们了解到一些汉字识别、文表格结构识别及文档结构化训练模型的原理和概念，这对于以后在使用人工智能与文档处理时有极大的意义。

三、大型语言模型的关键技术和实现

大型语言模型如今已经引起了公众的注意，短短五年内，Transforme等模型几乎完全改变了自然语言处理领域。此外，它们还开始在计算机视觉和计算生物学等领域引发革命。

而在说到语言模型时，那就不得不提到ChatGPT了。

ChatGPT 介绍

该段介绍来自“百度百科”
ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型，这些语料库包含了真实世界中的对话，使得ChatGPT具备上知天文下知地理，还能根据聊天的上下文进行互动的能力，做到与真正人类几乎无异的聊天场景进行交流。ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

ChatGPT是一种基于人工智能技术的自然语言处理模型，它是由OpenAI公司开发的。它可以模拟人类的对话，并根据用户输入的问题进行回答。它使用了深度学习和自然语言处理技术，可以理解并生成自然语言。
这个模型的潜力是巨大的，未来可以在各个领域产生深远的影响。

ChatGPT的三个关键技术

情景学习（In-context learning）
大模型的涌现能力，改变传统学习范式。
改变了之前需要把大模型用到下游任务的范式。对于一些 LLM 没有见过的新任务，只需要设计一些任务的语言描述，并给出几个任务实例，作为模型的输入，即可让模型从给定的情景中学习新任务并给出满意的回答结果。这种训练方式能够有效提升模型小样本学习的能力。
思维链（Chain-of-Thought，CoT）
大模型的涌现能力，打破模型参数约束。
对于一些逻辑较为复杂的问题，直接向大规模语言模型提问可能会得到不准确的回答，但是如果以提示的方式在输入中给出有逻辑的解题步骤的示例后再提出问题，大模型就能给出正确题解。也就是说将复杂问题拆解为多个子问题解决再从中抽取答案，就可以得到正确的答案。
自然指令学习（Learning from Natural Instructions）
人在环路增强，对齐人类意图。
早期研究人员希望把所有的自然语言处理任务都能够指令化，对每个任务标注数据。这种训练方式就是会在前面添加一个“指令”，该指令能够以自然语言的形式描述任务内容，从而使得大模型根据输入来输出任务期望的答案。该方式将下游任务进一步和自然语言形式对齐，能显著提升模型对未知任务的泛化能力。

对话式大型语言模型（类ChatGPT模型）的定义如下：

ChatGPT无疑是语言模型中最亮眼的那颗星，其充分的满足对大型语言模型的各项定义。

构建一个大语言模型前可以先从下面四个维度来衡量大语言模型的能力：

Know Knowns：LLM 知道它知道的东西。
Know Unknowns：LLM 知道它不知道哪些东西。
Unknow Knowns：LLM 不知道它知道的东西。
Unknow Unknowns：LLM 不知道它不知道的东西。

说到这里，不得不提国内首个对话式大型语言模型 MOSS，从 2 月 21 日发布至公开平台，便引起高度关注。“对话式大型语言模型 MOSS 大概有 200 亿参数。和传统的语言模型不一样，它也是通过与人类的交互能力进行迭代。

MOSS 是基于公开的中英文数据训练，通过与人类交互能力进行迭代优化。目前 MOSS 收集了几百万真实人类对话数据，也在进一步迭代优化，也具有多轮交互的能力，所以对于指令的理解能力上，通用的语义理解能力上，和ChatGPT 非常类似，任何话它都能接得住，但它的质量没有 ChatGPT 那么好，原因在于模型比较小，知识量不够。

且ChatGPT的出现对人工智能的影响是不言而喻的，所以也被称为人工智能的里程碑。