参数跑分真那么重要？大模型评价标准该变变了

Posted 2022-04-20 QbitAl

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

预训练大模型，自诞生以来不断刷新AI能力，成为业界竞争的焦点。

参数规模突破千亿直奔万亿，开发难度和成本也随之增大。

到了这个份上，大模型的开发与应用似乎成了“巨头专属”，效果越来越惊艳，离普通人却越来越远了。

不过，例外正在发生。

最近一场AI创意赛上，全国各地近2000人参与，大家脑洞大开，使用大模型能力开发出各类趣味应用。

如B站UP主同济同济子豪兄的这款论文起名神器，输入摘要就可自动生成论文标题。

开发出这些作品的人其实很多并非AI从业者，甚至没有计算机专业背景，比如文科生，还有创业公司产品经理等。

这些作品本身倒不是本文的重点，只是，使用大模型什么时候门槛这么低了？

这场由百度举办的比赛，提供的是文心知识增强大模型做技术支持，此外还有一个特别的标签——

业界首次大模型能力向公众开放。

要知道，大模型能力像要向公众开放，不能光是发发论文、开源一下代码了事。

背后还要额外付出努力，提供一系列低门槛的开发平台和工具、相应的培训和教学，才能让没有AI基础、甚至不会编程的人都能“玩转大模型”。

为什么要做到这一步？

百度集团副总裁吴甜这样回答：

这个世界上有技术背景的人还是少数，AI想要落地不能仅靠技术人员，创意在民间。

只有技术门槛低到了所有人都可以的时候，创意才会真正大规模爆发起来，这是人工智能落地路上必然的趋势。

大模型落地难在哪？

想要理解这个趋势，得先跳出比赛本身，看看AI落地、特别是大模型落地到底遇到了什么困难。

最近，微软认知服务团队发表的一篇大模型遭遇“不可能三角”论文，引发业内关注。

论文提出，目前的预训练语言模型对于模型规模、精调能力、小样本能力三者不可兼得。

目前业内的普遍做法，是试图得其二的同时努力往第三点靠。

放弃控制规模开发超大模型，可以再用知识蒸馏等手段做小型化。

不追求少样本能力，可以在缺少数据的任务上做数据增强。

不追求精调能力，改用提示学习 (Prompt learning)做少样本任务的方法最近也火了起来。

不过妥协的办法总归是有这样那样的问题，从效果或成本上阻碍大模型进一步应用落地。

如何突破这个“不可能三角”，各家都有着自己的答案。

微软论文中给出一种可能路径，先从个别任务上打开突破口，如命名实体识别或文本摘要，实现单一任务占据全部三项优势后再图横向拓展。

谷歌近日推出的下一代AI架构Pathway，则是从提升训练效率角度尝试解决。也就是不怕模型大，转而追求把炼大模型的难度降低。

百度的技术路线则是知识增强，让AI在大规模知识的指导下以更高效率学习到海量数据中蕴含的规律。

百度靠引入大规模知识图谱，只用百亿级参数规模就在语言模型权威测评SuperGlue上登顶全球榜首，超越人类水平0.8个百分点。

后来发布的全球首个千亿级知识增强大模型鹏城-百度·文心，更是在机器阅读理解、文本分类、语义相似度计算等60多项任务中都取得了最好效果，在30多项小样本和零样本任务上，也刷新了基准。

……

关于模型本身的事先说到这里，现阶段要想真正解决大模型落地问题，百度还提出一个观点：

光靠技术手段是远远不够的。

跳出技术之外

文心大模型家族自2019起开始打造，百度对其定位是产业级知识增强大模型。

知识增强前面已经介绍，那么该如何理解“产业级”这个定位？

吴甜解释其含义为“来源于产业实践，同时服务于产业实践，在实践当中建设起来”。

一方面，百度研发大模型的初衷就来自产业的落地实践。

AI落地场景越多，模型面临泛化性差的问题就越突出。每面临一个新的场景就需要收集新的数据，进行新的模型训练。

预训练模型的出现，通过集中提供通用算法、打造技术底座，大幅降低了人工智能的应用门槛，从开发阶段就应该是面向产业的。

开发设计阶段用到的数据要来源于产业。百度走的知识增强路线，意味着深入到金融、医疗等特定行业时，除了收集该行业的非结构化数据，还要积累专业知识。

做不同的任务设计，模型最后学到的是不一样的。百度会结合大量的产业应用，借助任务构建器不断地提炼任务、挖掘任务，让模型持续进行学习。

另一方面，文心又依托于百度功能完备的产业化大生产平台输出到百行千业，为行业使用大模型带来更大的便捷。

文心大模型开放了配套大模型开发、轻量化和部署的工具，推进产业落地应用，激发创意。

依托百度飞桨平台自主研发的端到端自适应分布式训练框架与4D混合并行技术，以及百舸AI异构计算平台，解决了大模型训练过程中多个世界性难题，使大模型训练速度提升、模型效果更优。

在落地应用上，文心若仅提供API调用只能满足离技术较近行业的少量需求。

因此，百度还会提供配套的数据标注、模型轻量化、边缘部署等一系列工具和平台。

如此开发出的产业级知识增强大模型，核心价值在于驱动AI的规模化应用。

人工智能在与众多这些产业结合时，场景非常分散、长尾。

针对高频次、容易流程化和标准化的场景，可以直接提供开发好的AI能力，如保险行业的合同处理，可以靠智能文档分析能力完成。

但还有很多如制造业、教育等行业中更碎片化的场景，数字化基础薄弱，行业知识更依靠人类专家经验、师徒间口口相传。

这就回到了文章开头的问题，为什么要把AI大模型能力做到向公众开放？

数量众多的场景，要是靠AI工程师去一个一个去深入调研、做适配，无法解决所有的问题。

只有让有需求的人都能认识、接触、亲手用上大模型，才能激发创意，取得应用落地上的更大突破。

为此，百度飞桨提供了零门槛AI开发平台EasyDL，拥有从数据采集、标注、清洗到模型训练、部署的一站式AI开发能力，无需编程和算法基础就能使用。

对更复杂的需求，也有BML全功能AI开发平台，提供开发环境、功能组件和高性价比的算力资源。

通过不断降低门槛，构建大模型生态，文心大模型对外调用量超5000万次，服务了6万+开发者、企业、科研机构。

为了让更多人看到大模型、了解大模型、用上大模型，百度举办了面向公众的AI创意赛。

此外还有面向产业的首席AI架构师培养计划，已向业界输送247位AI架构师，遍布工业、农业、金融、交通、能源等数十个行业。

人工智能高校师资培训，免费培训AI专业教师3000余人，助力700多个高校开设深度学习课程，培养了数万名在校生。

去年底，还宣布成立百度松果学堂，打造源于产业的AI人才培养平台，致力于让每个人都能更便捷地获取AI知识，学习AI技术。

所有积累的行业知识、产业应用、人才都将汇聚在文心大模型生态，以及背后更大的百度飞桨深度学习生态中进一步推动AI落地，形成正向循环。

到底什么才是一个好的大模型？

当今，各大研究机构、科技公司都争相打造自己的大模型。

参数规模上千亿、训练数据也上千GB。单体稠密模型之外，也有稀疏模型路线，参数更是突破万亿。

各大基准测试榜单也不断被刷新，超越人类平均水平已是过去式，追上人类最佳水平成了新的目标。

层出不穷的进展让人眼花缭乱，到底该如何评价一个大模型的优劣？

若是单纯比参数大小，缺失了成本和效率的维度。若只看跑分高低，也看不出真正落地时的效果。

如此看下来，一个大模型好坏的新标准也呼之欲出:

能否在性能领先的同时支撑大量产业应用。

从这个角度看，开发者数量超过6万、在数百个场景中落地应用的文心大模型，真正可称作“产业级”大模型。

而且百度打造大模型，从技术和难度上来说，并无意外之处。

但最值得关注的还是入场的初心和立场。

据称文心大模型问世，核心是来自于产业实际的需求，并非闭门造车的结果。

一方面，产业有需求，于是百度有了响应，并且很快实现了技术工程化，再通过飞桨快速实现了产业应用。

另一方面，产业的反馈证明了大模型的价值。在文心落地中，不仅各类大小企业实现了产业化升级，而且侧面证明了大模型在商业化落地上的可能性和可行性之路。

在AI模型中，输入、输出以及反馈是缺一不可的关键要素，而文心大模型的实践，同样完成了这样的闭环。

但这种路径在大模型上是否可复制？

答案或许还不能言之凿凿。

首先要考虑的是技术能力，其次还得有产业生态，最后还能真正从开发者的反馈中获得认可。

文心之路，多少有点百度飞桨的“凡尔赛”意味，其所具备的要素，并非其他玩家兼具。

但至少，一条大模型的商业化落地路径，现在已经清晰可见。

文心模式，就是这条路线。

参考资料：
[1] https://arxiv.org/abs/2204.06130