Meta 发布 “科研者的福音”，上线仅三天被骂到撤退

Posted 2022-12-14 AI科技大本营

整理 | 何苗      

出品 | CSDN（ID：CSDNnews）

上周，Meta 推出了一种名为 Galactica 的新型大型语言模型（large language model，LLM），它由 4800 万篇科学文章、网站文章、教科书、讲义和维基等训练而成。其本意是想解决学术界信息过载，帮助研究人员做信息梳理、知识推理和写作辅助，一度被认为是“科研者的福音”。Meta 将其模型宣传为“可以总结学术论文，解决数学问题，生成维基文章，编写科学代码，为分子和蛋白质做注解，等等。”

但是，它并没有像 Meta 所希望的那样大放异彩。MIT Technology Review报道，三天后，在激烈的争议中，Meta 撤下了它的在线演示版本。

时至今日，围绕 Galactica 的讨论并没有停止。

人工智能 or 科学造假制造机

人们是如何发现 Galactica 有问题的？

Galactica 一经开放使用，就吸引了大波网友和研究人员开始试用，有科研人员发现它确实能为自己生成的内容引用文献，但有时这个文献并不存在，作者却是真实存在的人。

也有科学家实验过后发现 LLM 即使能产出看似有条理的文本，但其实并无法理解其中意义。因此科学家发现 LLM 模型可能产出具有偏见的文章，或是出现事实谬误。

著名的 AI 学者 Gary·Marcus 表示，Galactica 把他的出生日期、教育经历和研究领域等信息全搞错了。

类似的讨论也发生在 Twitter 上。如果你让AI生成一篇关于“生活在太空的熊”的维基页面，AI 也会试着生成。

除了生成论文，Galactica 也可以生成词条的百科查询、对所提问题作出知识性的回答，除了文本生成外，还可以执行涉及化学公式和蛋白质序列的多模态任务。例如在化学反应中，要求 Galactica 在化学方程 LaTeX 中预测反应的产物，模型仅根据反应物就能进行推理，结果如下：

总体来看，Galactica 有点问题，也有点意思。

科学家与网友怎么看

在模型发布当天，Meta AI 的首席 AI 科学家 Yan LeCun 表示：“输入文本，Galactica 将生成包含相关参考文献、公式和所有内容的论文。”

而知名 AI 学者、Robust.AI 创始人 Gary Marcus 对 Galactica 模型测试过后表达了强烈的质疑：大型语言模型（LLM）混淆数学和科学知识有点可怕。高中生可能会喜欢它，并用它来愚弄他们的老师。这应该令我们感到担忧。

有网友提出一些反对意见，与其带来的好处相比，Galactica 会带来更多负面后果，想想这对学生写论文会有什么影响。它产出的伪论文可能危害真正的科学研究。

有人将其归因于深度学习的局限性：深度学习的本质是从数据中学习，这本来就不同于人类的智能，根本无法实现通用人工智能（AGI）。

马克斯普朗克智能系统研究所所长 Michael Black 则认为这不是个好的导向：“它提供了听起来是权威的科学，但没有科学方法的基础。Galactica 根据科学写作的统计特性产生伪科学，很难区分真假。这可能会开启一个深度科学造假的时代。这些被生成的论文将被其他人在真实的论文中引用。这将会是一团乱麻。我赞赏这个项目的初衷，但提醒大家还是要注意，这不是科学的加速器，甚至也不是科学写作的有用工具。这对科学来说是潜在的扭曲和危险。”

三天后 Galactica 被撤，Yan LeCun 在推特上写道：“ Galactica 演示暂时下线。不再可能通过随意滥用它来获得一些乐趣。开心吗？”

这位大拿的反应有些耐人寻味，自此引发了后续人们对“研究批评”的讨论。

开放研究批评，再给 AI 通用化一些时间

近日，有国外技术评论文章表示：

图灵奖获得者、Meta 首席科学家 Yann LeCun 为 Galactica 的撤退而辩护的态度是荒谬的，他不允许外人去批评产品是有问题的。而 Meta 官方对 Galactica 被撤的反应比较平和中正。

LeCun 曾回应 AI 评论家 Gary Marcus：或者它 （Galactica）被删除是因为像你（Marcus）这样的人滥用模型并歪曲它。感谢您删除了一个有用且有趣的公共演示，这就是我们不能拥有好东西的原因。

Meta 官方“感谢大家尝试卡拉狄加模型演示。我们感谢迄今为止从社区收到的反馈，并暂时暂停了演示。我们的模型可供想要了解更多有关工作并重现论文结果的研究人员使用。”

他认为官方对自己使用自己的代码所做的事情负责，而不是在指责批评家。而Yann LeCun 的反应有些过度，我们应该允许大众对学术领域批评，而不是压制，研究批评不该被视为人身攻击。

与所有语言模型一样， 夭折的 Galactica 看起来是一个无法分辨事实与虚构的无意识机器人，距离它宣传中的能力尚有距离。

近年来，新型软硬件计算系统、大数据、机器学习的发展，使得人工智能的潜能得到了很大发挥，形成了新的生产力，在社会发展各方面发挥巨大作用。但目前人工智能应用的瓶颈仍在于怎样向各行各业推广，将人工智能工具做到易用、安全，使知识获取像互联网搜索那样简单，并以一种容易理解、安全可靠的方式加以运用。当一个新事物出现，我们可能需要以更平和的心态来看待。

参考来源：

https://statmodeling.stat.columbia.edu/2022/11/23/bigshot-chief-scientist-of-major-corporation-cant-handle-criticism-of-the-work-he-hypes/

https://www.technologyreview.com/2022/11/18/1063487/meta-large-language-model-ai-only-survived-three-days-gpt-3-science/

https://twitter.com/GaryMarcus/status/1593264844412977158?s=20&t=Gw8PrA_Ytku9_9TaubsHyw

https://twitter.com/paperswithcode/status/1593259033787600896