懂外语会创作，机器高质量学习挑战均在这里实现

Posted 2021-09-17 AI科技大本营

编译 | 禾木木

出品 | AI科技大本营（ID:rgznai100）

近年来人工智能在不断的发展中，机器不仅已经学会了英语写作，也正在学习其它语言。

德国 Aleph Alpha 已经构建了世界上最强大的 AI 语言模型之一。它不仅能说流利的英语，还可以说德语、法语、西班牙语和意大利语。

该算法建立在机器学习的最新进展之上，这些进展帮助计算机能够以真正理解的方式处理语言。通过利用从阅读网络中学到的知识，构思出给定主题的连贯文章，并可以令人信服地回答一些常识性问题。

然而，可能与美国开发的类似程序产生的答案有所不同。例如，当被问及历史上最好的运动队时，Aleph Alpha 回答了一支著名的德国足球队。美国制造的模型更有可能回答芝加哥公牛队或纽约洋基队。如果用法语编写相同的程序并且提问时，答案很可能会是著名的法国团队，因为该算法会调整其文化视角。Aleph Alpha 设计为双语，这意味着可以用一种语言提出问题，然后用另一种语言得到答案。

机器学习语言

“这是变革性的人工智能，”Aleph Alpha 的创始人兼首席执行官 Jonas Andrulis 说，他曾在 Apple 从事人工智能工作。

机器学习在经历了几十年的掌握单词和理解句子含义方面缓慢进展之后，终于取得了一些有希望的进展。

美国 OpenAI 在 2019 年率先展示了一种名为 GPT-2 的强大新型 AI 语言模型。它提供了一个新的、更强大的版本 GPT-3，以通过 API 选择公司和研究人员。其他一些美国公司，也在开发类似的工具。

现在，在中国、韩国、以色列以及德国也在开发人工智能通用语言工具。每项努力都有自己的技术曲折，但都基于机器学习的相同进步。

机器学习在语言上的发展

长期以来，让机器掌握语言一直是人工智能的一大挑战。语言之所以如此强大，是因为可以将单词和概念结合起来，赋予几乎无限的思想。但是，由于经常出现歧义，解码单词的含义也非常困难，而且不可能将所有语言规则都写入计算机程序中（有些人已经尝试过）。

人工智能的最新进展表明，机器可以通过阅读网络来培养一些显著的语言技能。

2018 年，谷歌的研究人员发布了一种强大的新型大型神经网络的详细信息，该网络专门用于自然语言理解，称为 Transformers 的双向编码器，或 BERT。这表明机器学习可以在语言理解方面产生新的进展，并激发探索可能性的努力。

一年后，OpenAI 展示了 GPT-2，它是通过向一个语言模型提供网络文本而构建的。这需要大量的计算机能力，据估计要花费数百万美元，以及相当多的工程技能，但它似乎开启了对机器的新理解水平。

“这些大型语言模型通过阅读能了解到世界是如何运作的，”斯坦福大学专门研究人工智能和语言的教授克里斯曼宁说。

GPT 及其同类本质上是非常有才华的，他们会学习如何重新创建语言中的单词和语法模式，但这也意味着他们可以脱口而出、极其不准确的事实以及从网络的阴暗角落中抓取的仇恨语言。

耶路撒冷希伯来大学计算机科学教授 Amnon Shashua 是另一家基于这种方法构建 AI 模型的联合创始人。Shashua的新公司开发了一种名为 Jurassic-1 的人工智能算法，该算法展示了惊人的英语和希伯来语语言技能。

在演示中，Jurassic-1 可以生成关于给定主题的文本段落、为博客文章设计吸引人的标题、编写简单的计算机代码等。Shashua 表示这个模型比 GPT-3 更复杂，他相信侏罗纪的未来版本能够从它收集的信息中建立对世界的常识性了解。

重新创建 GPT-3 的其他努力反映了世界和互联网的语言多样性。今年 4 月，华为的研究人员公布了一种名为 PanGu-alpha（写作 PanGu-α）的类似 GPT 的中文语言模型的详细信息。今年 5 月，韩国搜索巨头 Naver 表示，已经开发了自己的语言模型，称为 HyperCLOVA，可以“说”韩语。

清华大学教授唐杰领导北京人工智能研究院的一个团队，在政府和行业的帮助下，开发了另一种名为五道（意为“启蒙”）的中文模型。

五道模型比任何其他模型都要大得多，这意味着它的模拟神经网络分布在更多的云计算机上。增加神经网络的规模是让 GPT-2 和 -3 更有能力的关键。五道还可以处理图像和文本，唐杰已经成立了一家公司将其商业化。“我们相信这可以成为所有人工智能的基石，”唐说。

AI 语言模型可能会被滥用

这些新 AI 程序的能力似乎证明了这种热情，但将此类语言模型商业化的竞赛也可能会比增加护栏或限制滥用的努力更快。

也许对 AI 语言模型最紧迫的担忧是它们可能会被滥用。由于这些模型可以针对某个主题生成令人信服的文本，因此有些人担心它们很容易被用来生成虚假评论、垃圾邮件或假新闻。

乔治城大学的研究分析师 Micah Musser 研究了语言模型传播错误信息的潜力。Musser 表示，研究表明，不可能使用人工智能来捕捉人工智能生成的虚假信息。一条推文中没有足够的信息让机器判断它是否是由机器编写。

更多问题也可能潜伏在这些巨大的语言模型中，中国互联网内容训练的语言模型将反映塑造该内容的审查制度。

斯坦福大学的另一位计算机科学教授、一个致力于研究 GPT-3 等通用人工智能模型潜力的新中心的首席研究员 Percy Liang 补充道这些大型语言模型可能会以令人惊讶或意外的方式失败。

结 语

Percy Liang 中心的研究人员正在开发他们自己的大规模语言模型，以更多地了解这些模型的实际工作方式以及它们如何出错。“GPT-3 可以做很多令人惊奇的事情，甚至设计师都没有预料到，”他说。

开发这些模型的公司承诺会审查那些可以访问它们的人。Shashua 表示将有委员会来审查公司内模型的使用。但随着工具的增多和变得更容易获得，尚不清楚所有的滥用都会被发现。

开源 GPT-3 竞争对手 Eleuther 背后的人工智能研究员 Stella Biderman 表示，复制 GPT-3 这样的人工智能模型在技术上并不是很难。对于拥有几百万美元和一些机器学习毕业生的人来说，创建强大的语言模型的障碍正在缩小。像亚马逊网络服务这样的云计算平台现在为任何有足够资金的人提供工具，可以更容易地构建 GPT-3 等所需规模的神经网络。

在清华，唐杰正在设计他的模型，以利用事实数据库，为它提供更多的基础。“这对所有从事这些大型模型工作的人来说都是一个大问题。”

对于此，你怎么看呢？

参考链接：

https://www.wired.com/story/ai-write-english-learning-other-languages/