旷视开源深度学习框架天元，为什么说深度学习框架没有捷径可走？

Posted 2021-04-19 罗超频道

深度学习框架，不只是技术问题。

3月25日，旷视宣布开源新一代AI生产力平台Brain++的核心深度学习框架旷视天元（MegEngine），其前身是旷视内部自用的算法训练推理引擎MegEngine，由旷视3名实习生在2013年启动研发，于2014年正式完成上线，支撑旷视6年以来在国际AI竞赛的表现，以及公司产品和业务的落地，目前服务于旷视研究院1400余名AI开发者。

Brain++是旷视自主研发的端到端人工智能算法平台，具备大规模算法研发能力。针对框架、算力和数据三个核心要素，旷视Brain++在总体架构上分为三部分，包括深度学习框架MegEngine、深度学习云计算平台MegCompute、以及数据管理平台MegData，天元是旷视Brain++最核心的组件。

有媒体报道称旷视天元（MegEngine）“重新定义AI基础设施”，因为“国产自主可控的深度学习框架，将是中国打造数字基建中AI核心能力的底座，释放更多生产力。”那么，作为后来者的天元（MegEngine），真的可以赶上谷歌Tensorflow和百度PaddlePaddle等先行者吗？

 01 

技术层面，已经达到世界领先吗？

深度学习框架不是什么新鲜事物。所谓深度学习框架，相当于是AI操作系统，有了这个框架，机器视觉、语音和知识图谱等AI技术都可基于框架研发，避免后来者重复造轮子。早在2010年AI方兴未艾时，深度学习框架就已开始火热，谷歌和Facebook是先行者，2015年开源的谷歌Tensorflow流行于工业界，拥有业界最完善的工具链和生态；Facebook Pytorch则以易用性著称，在科研界有较高占有率。在两者外，还有Amazon、微软、百度等科技巨头拥有自主深度学习框架。如今，深度学习框架在AI领域已经是基础设施。

科技巨头的深度学习框架的研发与开源的启动时间均比MegEngine早多年，MegEngine公布的资料显示，其在自动求导、预训练模型、训练速度、部署效率、异构设备支持等深度学习框架的关键能力上，与发展多年的Tensorflow全都在一个级别，在一些维度比Facebook Pytorch、百度PaddlePaddle等均表现更好，从技术实现来看这样的可能性不大。深度学习框架本质是将很多底层基础代码抽离出来，需要日积月累的研发，后来者除非有数倍于先行者的人力与研发资源投入，才有可能赶上。MegEngine虽然源自于独角兽旷视，但其研发资源显然不如世界级科技巨头充沛。

深度学习框架的模型支持十分重要，模型意味着框架适应不同场景下AI实现的能力，比如机器视觉、语音识别等不同场景，而MegEngine目前自有模型跟先行者比少且缺乏亮点，只有少数几个视觉模型，或许正是因为自有模型数量相对较少，MegEngine宣称“为了解决模型复现困难的问题，天元支持PyTorch Module 导入，可针对计算机视觉任务进行优化。”从MegEngine公布的路线图来看，Beta 版本的推出尚在6月份，不论是异构设备支持还是部署能力都还有待观察。

 02 

自主层面，真的是国产之光吗？

有媒体报道称，“旷视的加入，让国产自主深度学习框架再添一员，使中国的人工智能开发工具可以在国际上与谷歌的TensorFlow、Facebook的PyTorch对垒，相比国外的框架和平台，诞生于中国应用场景的深度学习框架与中国产业转型更适配，有望让更多中国的企业更快捷的获得AI研发能力。”看上去，似乎想把旷视MegEngine打造成国产之光。

如果了解过中国深度学习框架的发展，可能会有不同看法。AI产业化时代，我国已经将AI上升为国家科技战略，作为AI基础设施的深度学习框架确实具有战略价值，特别是在技术自主的大趋势下。正是因为此，作为AI技术领先者的百度，在2013年就已成立深度学习实验室，研发深度学习框架PaddlePaddle，百度的语音技术、自然语言处理技术、计算机视觉技术等等，均是基于PaddlePaddle研发。

作为百度AI“压箱底技术”，PaddlePadde在2016年就已开源，经过四年发展已经在行业中占据一席之地，且在中国的深度学习框架市场具有优势，IDC 在2019年6月发布的报告显示，在国内深度学习综合市场中，谷歌、Facebook、百度三家共占据超过一半的市场份额，谷歌TensorFlow占据着主要市场，百度飞桨（PaddlePaddle）占据第三，增长势头明显。2019年PaddlePaddle入围世界互联网大会“世界互联网界领先成果”时，已服务150多万开发者，广泛应用于工业、农业、服务业等，从工厂中的质量检测和安全管理，到田野里的农药控制和虫情监测，到商品数据分析、诊疗辅助决策，PaddlePaddle成为各行各业技术创新、智能化升级的基础底座。

在技术层面旷视天元（MegEngine）相对于百度PaddlePaddle而言并没有什么明显优势，一方面百度在AI技术上布局更早，投入力度更大，且不只是聚焦机器视觉技术，而是较为全面地覆盖了自然语言处理、知识图谱、语音识别等关键AI技术，在这一过程中百度在百度大脑、PaddlePaddle等底层AI技术上一直在战略投入。另一方面百度拥有搜索、小度、Apollo等核心应用场景，且通过百度智能云构建了一个AI产业生态，给PaddlePaddle的普及奠定了很好的基础，反过来锤炼了PaddlePaddle的技术能力。实际上，天元（MegEngine）提出的“动静合一”、“训练推理一体化”这样的亮点，也一直是PaddlePaddle的重要特点。

不可否认，深度学习框架就像自主芯片或者操作系统一样对我国科技产业具有重要战略意义，正是因为此，百度后，阿里、旷视、华为等玩家布局深度学习框架都值得鼓励，不过不管谁来做框架，都应该凭技术实力和开源社区服务来吸引开发者。深度学习框架开源后，产品好用与否，开发者一看代码或者在社区一交流就知道。

 03 

生态层面，真的可以一蹴而就吗？

今天开发者可选的深度学习框架越来越多，同时随着AI产业化加速AI研发越来越复杂，因此开发者对深度学习框架的要求越来越苛刻：要易用上手、要功能模板丰富、更性能强大，要部署方案全面，要有前沿技术支持。可以说深度学习框架的门槛越来越高，任何框架要实现这些都不能一蹴而就，唯有花时间、投资源打磨积累，一行行堆代码才能满足开发者需求。这跟手机芯片的发展很相似：我们看到很多手机公司都在做芯片，但真正做得好的只有苹果、华为这样的领先对手十年甚至更早布局的公司，当它们建立技术壁垒后，后来者即便是砸钱也已无法赶超。

还有一点至关重要：任何开源技术的竞争核心都不只是技术本身，最终一定会落到开源社区生态上。开发者的支持，上下游产业链伙伴支持，都是开源深度学习框架普及的关键。这一点就像操作系统，当华为手机面临安卓断炊问题时，最大的挑战不是代码本身，虽然华为推出了鸿蒙系统，但应用生态却很难一朝一夕建立，正是因为此华为正在力推HMS。同样，任何深度学习框架开源都要花时间去培育开发者生态，去获取开发者与产业的支持。

在开源社区生态上，具有科技巨头背景的框架具有显著优势：

1、巨头背景意味着更多的社区资源支持，它们的深度学习框架团队可以把握技术趋势快速转化成产品，可以给予开发者教育、文档、工具、社区等方面更加全面的支持，初创公司很难具备这样的资源投入能力。

2、巨头背景意味着更多的场景支持，巨头一方面有海量自有场景，另一方面拥有繁荣的开放生态，本身就有大量的开发者，因此具有各种业务场景来对框架进行打磨锤炼，初创公司应用场景则相对单一。

3、巨头背景对开发者来说意味着一种“保险”，初创公司的开源平台意味着更大的不确定性，开发者未来可能会面临支持资源匮乏等问题，切换成本会很高，而巨头的框架则可以给予开发者更大的选择信心。

全球范围内，真正在持续投入深度学习框架的企业，正是谷歌、Facebook、微软、百度这样的科技巨头，且它们均是真正战略重视AI的科技巨头，它们入局AI时间早，同步布局深度学习框架时积累了较好的开源生态基础，后来者要想走捷径一夜赶超，几乎没有可能。

END

▼

往期精彩回顾

▼

罗超频道是知名科技行业自媒体。研究技术、产品、商业、资本和趋势，关注中国本土科技创新、大公司、中概股、文娱内容、AIoT、新零售、新金融、新技术和产业互联网，是虎嗅网、36kr、钛媒体三大平台年度作者（唯一大满贯），是百家号、新浪科技、网易号年度作者，是36kr观察+特邀采访嘉宾，读者覆盖人群1000万+，全平台订阅读者100万+。

转载/合作/社群联系个人微信：

luochaozhuli，请注明来意。