预测“叫停GPT-4后续AI大模型”后续：这是一个囚徒困境

Posted 2023-03-30 小虎AI实验室

文章目录

• 前言
• 一、公开信内容
• 二、公开信核心观点和诉求
• 三、个人思考
• • AI安全和伦理
  • 囚徒困境
• 总结

---

前言

生命未来研究所 (Future of Life Institute) 发表了一封公开信，信件：https://futureoflife.org/open-letter/pause-giant-ai-experiments/，呼吁暂停对比 GPT-4 更强大的模型进行 AI 训练，并有大量人签署了这份公开信，签署人包括马斯克及图灵奖获得者Bengio。

这封公开信指出，最近几个月，人工智能实验室陷入了一场失控的竞赛，他们没有办法理解、预测或可靠地控制自己创造的大模型。人类社会对其可能造成的影响也没有做好准备。因此，公开信呼吁，所有 AI 实验室应立即暂停训练比 GPT-4 更强大的 AI 模型，为期至少 6 个月。

这则消息发布后后，有国外网络针对上述公开信做了一份调研，调研结果如下：

很有趣，广大网友和签署签名的名人观点是完全相反的，大家并不同意这份公开信。这篇文章我想以这篇文章为引，深入探讨下背后的本质：AI安全管控以及预测下接下来AI大模型研发的后续走向。

---

一、公开信内容

公开信原文内容如下：

具有与人类竞争的智能的AI系统可能会对社会和人类产生深远的影响，正如大量研究和顶级AI实验室所承认的。正如广泛认可的Asilomar AI原则所述，先进的AI可能代表着地球生命历史上的一个深刻变革，应该得到相应的关注和资源进行规划和管理。不幸的是，尽管近几个月来AI实验室正陷入一场失控的竞赛，研发和部署越来越强大的数字思维，而无人能理解、预测或可靠地控制，这种规划和管理却没有得到实施。

现代AI系统现在已经在通用任务上具有与人类竞争的能力，我们必须问自己：我们是否应该让机器充斥我们的信息渠道，传播宣传和谎言？我们是否应该将所有工作都自动化，包括那些有成就感的工作？我们是否应该发展可能最终数量超过、智慧超越、淘汰并取代我们的非人类思维？我们是否应该冒着失去对文明的控制的风险？这些决定不应该委托给未经选举的科技领导者。只有当我们确信它们的影响是积极的，风险是可控的，才应该开发强大的AI系统。这种信心必须是充分合理的，并随着系统潜在影响的增大而增加。OpenAI关于人工通用智能的最近声明指出，“在某个时刻，可能需要在开始训练未来系统之前获得独立审查，对于最先进的努力，应同意限制用于创建新模型的计算增长率。”我们同意。现在就是那个时刻。

因此，我们呼吁所有AI实验室立即暂停至少6个月的时间，停止训练比GPT-4更强大的AI系统。这个暂停应该是公开的、可以验证的，并包括所有关键参与者。如果这样的暂停不能迅速实施，政府应当介入并实行一个暂禁令。

AI实验室和独立专家应该利用这个暂停期共同制定并实施一套共享的先进AI设计和开发安全协议，由独立的外部专家严格审计和监督。这些协议应确保遵守它们的系统在合理怀疑之内是安全的[。这并不意味着要暂停AI发展，而仅仅是从一场危险的竞赛中退后，这场竞赛导致了越来越庞大的不可预测的黑箱模型以及突发性能力。

AI研究和开发应该重新关注于使现有的强大、先进的系统变得更加准确、安全、可解释、透明、稳定、符合人类价值观、可信和忠诚。

与此同时，AI开发人员必须与政策制定者合作，大力加快发展健全的AI治理系统。这些至少应该包括：致力于AI的新的、有能力的监管机构；对高能力AI系统和大型计算能力池的监督和跟踪；可以帮助区分真实与合成信息并跟踪模型泄漏的来源和水印系统；一个健全的审计和认证生态系统；对AI造成的损害承担责任；为技术AI安全研究提供充足的公共资金；以及应对AI将导致的严重经济和政治颠覆（尤其是对民主制度）的资金充足的机构。

人类可以在AI的帮助下拥有一个繁荣的未来。在成功创造出强大的AI系统之后，我们现在可以享受一个“AI夏天”，在这个时期我们可以收获成果，为所有人明确规划这些系统的利益，让社会有机会适应。在其他可能对社会产生灾难性影响的技术上，社会已经按下了暂停键。在这里我们也可以做到。让我们享受一个漫长的AI夏天，而不是毫无准备地冒险进入秋天。

二、公开信核心观点和诉求

上述公开信主要有以下几个重要观点：

1. 具有与人类竞争智能的AI系统对社会和人类的潜在风险
2. 现代AI系统在通用任务上的竞争力
3. 技术决策的民主参与
4. 暂停更强大AI系统的训练
5. 重点关注AI系统的安全、可解释性、透明度、稳定性、符合人类价值观、可信和忠诚等方面的研究和开发
6. 加速发展AI治理系统。

客观地说，上述观点在很大程度上关注了AI发展中的伦理、安全和社会责任问题。这些问题是当前AI技术发展中的关键议题，值得广泛关注和讨论，这也是博主想要去和大家分享的。

三、个人思考

其实，在文章开头，我们已经看到了，网络上大部分网友是反对禁止AI大模型研发的。

AI安全和伦理

暂停训练大型AI模型的建议在某种程度上反映了对AI安全和伦理问题的关切，但是这种行为一定程度上会抑制技术进步，大模型目前已经在许多领域取得了突破性的进展，网络上已经有各种层出不穷的应用了。有的使用大模型AI做自然语言处理，构造对话机器人，有的利用大模型AI来绘画，有的甚至利用大模型AI来预测蛋白质结构。

即使暂停大模型的研究也并不能完全解决AI安全问题。实际上，限制大型模型的研究可能会导致相关的安全研究陷入停滞，从而使得未来的AI系统更容易受到潜在的安全威胁。

囚徒困境

在AI领域，公开信提出的关于暂停训练大型模型的建议引发了广泛关注。然而，在实际操作中，这一建议可能面临一个囚徒困境的问题。囚徒困境是指在博弈论中，各方面临合作与背叛的选择，而由于各自利益最大化的驱动，最终导致双方陷入非最优的结果。在这个情境下，各AI实验室面临的问题是：要么继续研发大型模型，要么放慢研发脚步。由于博弈论的影响，各方可能都不会选择放慢研发大型模型的脚步。

我们从竞争、经济利益和政策法规的角度来分析，为何最后大家并不会放慢研发大模型的角度脚步：

首先，从竞争的角度看，各AI实验室都希望在研发大型模型方面取得领先地位。目前，在全球范围内，大模型技术正处于一个激烈竞争的阶段，从ChatGPT到文心一言，从文心一言到GPT-4，再从GPT-4到Google Bard，以及微软的New Bing，各大公司乃至各国都在争夺AI领域的制高点。如果某个实验室或机构选择放慢研发脚步，那么很可能会被其他竞争对手超越，从而在市场上失去竞争优势。在这种情况下，各AI实验室、公司机构为了维护自身的利益，很难做出放慢研发脚步的决策。

其次，从经济利益的角度考虑，大型模型在许多领域都具有巨大的商业价值。这些模型可以应用于自然语言处理、计算机视觉、生物科学等领域，为企业带来可观的收益。ChatGPT用最短的时间实现月活破亿，文心一言发布会首日，就有八万家企业争相合作，这些都说明了市场对大型模型研究的热切回应。在这种情况下，各AI实验室都有动力加快研发大型模型的脚步，以期在市场上获得更高的回报。这意味着，即使实验室之间存在合作的可能性，但在经济利益的驱动下，各方可能仍然选择继续研发大型模型。

再者，从政策和法规的角度分析，目前尚缺乏对AI领域的全球性监管框架。这意味着，在没有统一的政策和法规约束的情况下，各AI实验室可能会继续加快研发大型模型的脚步。在这种情况下，即使部分实验室意识到了囚徒困境的存在，但由于缺乏有效的监管机制，他们可能仍然无法在行动上做出相应的调整。

因此最终时代洪流还是会滚滚向前，发展的脚步永不停歇！

---

总结

马斯克及Bengio一众大佬的公开信，无疑有着他们自己的考量，他们更多担心AI竞赛会导致各方在安全和伦理问题上的短视行为。在追求技术创新和经济利益的过程中，各AI实验室可能会忽视大型模型可能带来的安全隐患和伦理挑战。因为剔除暂停AI大模型的研究，也是情理之中。再加上最近几个月，AI产品所带来的技术革新实在是令人震惊，虽然博主也反对这封公开信，希望继续进行AI研究。但是想想波士顿动力机器人搭配上GPT6，还是有点后怕呀～

最后附上ChatGPT相关资料、和社群信息，欢迎大家一起来讨论交流呀😄～

基于小序列的后续序列预测

【中文标题】基于小序列的后续序列预测

【英文标题】：Prediction of following sequence based on small sequence

【发布时间】：2017-09-01 17:37:30

【问题描述】：

我是机器学习的新手，我有一个问题，我想用一些人工智能来解决。如果您能向我推荐一些具体的算法、神经网络架构或一些相关的阅读材料，我将不胜感激。

我正在研究基于鼠标移动来预测用户意图。目前我处于没有具体数据集的分析阶段。目标是通过预测鼠标轨迹来预测用户意图的目标（例如按钮，用户将点击的位置）。

让我介绍一下问题

我有很多序列。每个序列的长度可能会有所不同。作为输入，我将传递一些较小的序列，我想为此预测下一个 x 值。所以我想知道下一个可能的序列（或更多可能的序列）。输出序列的长度 (x) 也可以是可变的。也许序列到此结束？应该“实时”进行预测。

那么这些序列是什么？

序列表示经过一些预处理后在二维空间中的运动方向。每个值都是区间 的整数。算法应该能够增加区间的上限 (16, 32, ...)。实际上，该值是内插角度。

三个示例序列。真实的序列会更大。

我如何想象解决方案？

将根据一些相似性对序列进行聚类。当制作序列数据集时，将训练一些神经网络以尽可能快地检索包含输入序列作为子序列的序列。

聚类

匹配的子序列应该有一定的容差。序列 [3, 3, 3, 3, 2] 类似于 [3, 3, 4, 3, 2] = 偏差容差*。或者序列 [4, 3, 3, 2] 也类似于 [4, 3, 3, 3, 3, 2] = 连续重复值的容差。

*我可以将两个值之间的差异表示为相对数字 - 0% 相同方向 => 100% 相反方向。

如果输入为 [ 1,2,2,2 ] - 红色 - 输出应为 [ 4,3,2,2 ]。

如果输入是 [ 3,3,3,2 ] - 蓝色 - 输出应该是 [ 2 ]。

神经网络

经过一些研究，我发现了 Hopfield 网络，它应该给出最相似的序列。但后来我意识到我的序列长度是可变的，并且 Hopfield 网络架构需要二进制值。

我可以以某种方式创建序列的二进制表示，但我不知道如何管理可能变化的长度。

让我们更上一层楼

如果序列中的每个值都不是标量而是速度向量 (d, s)，其中 d 是方向而 s 是速度？

相关问题

可以“在线”训练神经网络吗？所以不需要知道以前的训练数据集，只需提供新的数据集即可。 可以在服务器端（例如 python）训练神经网络，但在客户端 (javascript) 用于预测吗？ 神经网络能否具有某种“短期记忆” - 预测会受到 2-3 个先前预测的影响？ 最重要的是 - 我应该使用神经网络还是其他方法？

谢谢大家。

请随时纠正我的英语。

【参考方案1】：

可以“在线”训练神经网络吗？所以不需要知道以前的 训练数据集，只需提供新数据集。

通常，您不会连续训练 ANN。您对其进行训练，直到您的错误在容差范围内，然后使用该模型进行预测。如果您想定期调整模型，您可以存储信息并每晚重新训练网络，但很可能不会提供太大的改进，并且存在长期错误数据扭曲模型的风险。

可以在服务器端（例如 python）训练神经网络但使用 用于客户端预测（javascript）？

这取决于。您打算使用经过训练的模型进行客户预测，还是打算让用户操作实时训练立即用于预测的模型？ 如果模型已经过训练，您可以将其用于预测用户事件。 如果模型没有经过训练，您将面临错误数据损坏模型的风险。 像这样的实时训练还需要使用服务器生成的新模型不断更新客户端的模型设置。

神经网络能否具有某种“短期记忆” - 预测 会受到之前 2-3 个预测的影响吗？

不建议使用以前的预测作为输入。它向系统引入了熵，如果模型连续做出一些错误的预测，它可以使模型大大偏离可靠的预测。您可以尝试一下，在这种情况下，您需要在输入层上添加 n*k 个额外节点，其中 n 是您要使用的先前预测的数量，k 是预测中的输出值的数量。

最重要的是 - 我应该使用神经网络还是其他方法？

ANN 对于预测事物非常有用。最大的问题是定义预测所需的范围和相关可靠数据。我已经制作了预测视频游戏市场波动性的人工神经网络，具有数千个输入值，但预测鼠标移动将是一个挑战。没有什么能阻止用户在一个圆圈内移动鼠标数小时，或者将光标留在一个位置。每次您对此类操作进行采样时，它都会使您的模型更有可能预测该类型的行为。良好的训练数据和可控的环境是必不可少的。视频游戏会为预测鼠标移动创造一个糟糕的环境，因为用户行为不仅仅依赖于以前的鼠标移动。网站将是一个有利的环境，因为在会话期间，用户以可预测的方式在有限的空间中导航。