中国AI开源的新生力量！旷视“天元”深度学习框架全解读

Posted 2021-04-19 智东西

看点：旷视开源“天元”深度学习框架！五大架构+四大优势如何助力AI落地？

中国AI开源阵营再添一军！

3月25日，旷 视宣布正式开源工业级深度学习框架“天元（MegEngine）”，成为国内第一家开源AI框架的AI企业。

作为旷视AI生产力平台Brain++的核心组件之一，天元拥有训练推理一体化、动静合一、兼容并包和灵活高效四个特点，能帮助开发者用户进行灵活、高效的大规模深度学习模型训练和部署。

从“AI”这一概念诞生至今，在这片浩瀚的AI海洋中，算力、算法和数据已经为这片海域贡献了许多珍贵的技术资源，而“开源”作为其中一个经久不衰的话题，为AI乃至计算机行业构建了一个开放共进的生态环境，进一步加速AI产业的落地和行业转型。

而天元深度学习框架的诞生，不仅为旷视AI业务的开拓和成熟提供强有力的底层技术支持，其本身的开源，在丰富国内AI开源生态的同时，也为近年来全国火热的新基建中AI领域的发展，提供了重要的创新力和生产动力。

那么，“天元”深度学习框架究竟是什么？它的背后隐藏了哪些旷视的AI布局野心？在谷歌TensorFlow和Facebook PyTorch大肆收割开发者的AI时代下，“天元”深度学习框架的开源，之于旷视，或是之于中国的AI行业生态，到底意味着什么？

授人以渔，智能化时代旷视的开源初心

从授人以鱼到授人以渔，天元深度学习框架的开源，不仅仅是旷视一次面向AI行业和开源生态的技术释放。从本质上看，它的开源还是旷视在产业智能时代头部玩家抢位战的一次入局。

对旷视这么一家以AI为本业的公司来说，在当下迅猛发展的AI行业中，选择将自己的核心竞争力开源，无疑需要巨大的勇气和对市场时机的把握。

天元的开源，在直面全行业开发者实践和检验的同时，也将激发更多开发者的创造力，为天元自身的迭代和创新带来了无限可能性。而在这背后，其实也隐藏了旷视对自身技术实力的强大自信。

但迈出开源的这一步，给旷视带来的意义不止于此。

若我们将眼光放在整个行业来看，旷视天元深度学习框架的开源，亦为各个行业的AI化转型，以及AI行业的加速落地引擎，增添了润滑剂。

一方面，天元通过简单高效的AI性能，为追求AI转型的产业提供了一种新的尝试和选择，进一步解放传统产业的生产力；另一方面，天元也将成为一个新契机，将上游应用、算法、场景，以及下游的操作系统和芯片等更好地结合起来，开拓一个AI生态和产业链紧密结合的新局面。

与此同时，天元对中国高新技术产业而言，亦是中国在全球科技竞赛舞台上的一次实力亮相。

当下，我国新基建如火如荼地开展，5G、AI、工业互联网和大数据中心等技术的构建和发展，已经成为国家大力发展智能产业的重要科技因素。

而旷视天元的开源，为国家新基建的在线化、数字化和智能化发展和升级，提供了不可或缺的创新力和生产力。

更重要的是，它作为中国计算机发展阶段的新兴代表，同时也是中国AI企业中唯一一个开源的深度学习框架，它的面世不仅代表着中国AI企业的科研实力和包容开发的态度，亦彰显着中国AI产业在当下全球科技竞赛的复杂时代下，与巨头抗衡的底气与决心。

“我们开源的初心，是希望开源后有更多开发者贡献更闪光的想法和创意，一起参与天元的建设和发展。”旷视首席科学家、旷视研究院院长孙剑谈到，旷视希望通过开源，进一步解决目前行业发展和国家建设中尚未解决的技术难题，为国内的AI开源生态提供创新动力。

开源为何重要？

从Linux操作系统的开源，到AI领域谷歌TensorFlow的入局，“开源”一直是风云变幻的计算机界发展史中，经久不衰的一个话题。

什么是“开源（Open Source）”？简单地说，开源全称为开放源代码，程序员和普通终端用户能够利用源代码在其基础上进行修改和学习。

如今，包括Linux、android、NetBSD和Symbian在内的操作系统，以及谷歌TensorFlow、Facebook PyTorch等AI框架，都在漫长的计算机历史中走向了开源，为各个行业的创新和发展增添了不可或缺的重要驱动力。

例如，Android操作系统的开源，直接催生了一个独立于苹果ios之外庞大的智能手机生态，包括三星、华为、小米等手机均基于Android进行软件开发。

实际上，除了操作系统外，AI框架的开源亦是近年来业界火热的开源趋势之一。

如何理解AI开源？在AI最为本质的算法、算力和数据三大元素中，如果把算法比作一道菜，那么框架就像是一个中央厨房，能够规模化地生产各种各样的菜式。

在开源之前，“大厨们”需要独自全手工地进行洗菜（洗数据）、配菜（选模型）、炒菜（算法训练）、调味（调参数）和装盘（部署）等操作，整个过程既冗长又费力。

而开源，就像是将食材和菜谱全都准备妥善，“大厨们”不用再重复进行造锅、生火和洗菜等步骤，直接基于前人的经验开始炒菜就够了。

与此同时，“大厨们”还能在这一开放式厨房中，对前人的经验进行学习、交流和创新，一同逐渐完善厨房的功能，提高生产效率。

如今的AI开源领域，则有以谷歌TensorFlow和Facebook PyTorch为首的深度学习框架，受到广大开发者们的欢迎。

“目前看来，开源已经成为软件时代非常关键的一条技术路线。”旷视副总裁谢忆楠谈到，谷歌、微软和亚马逊等国外科技巨头早已在AI领域推行开源，并通过AI开源工具与平台打通产业链，形成开源生态。

在此背景下，旷视选择开源AI框架，不仅是对其解决算法无限性这一长期战略的探索，同时旷视作为目前国内开源企业中唯一以AI为主业的公司，也期望能够通过开源让更多的合作伙伴实现AI+转型，进一步推动AI技术的加速落地。

六年打磨，天元深度学习框架的前世今生

其实早在2014年，旷视就开始着手“天元”深度学习框架的研发，当时它的名字叫做MegEngine。

为了让MegEngine早日跟上公司业务的发展进度，研究人员不断加速优化和研发，成功在2015年年中实现了MegEngine与公司内部所有业务的接轨。当时，旷视所有业务线上的模型，都已全部更换成MegEngine训练出来的版本。

但MegEngine的发展并非一帆风顺。

2015年11月，谷歌TensorFlow的正式开源，对当时已逐渐走入稳定发展期的MegEngine带来了巨大冲击，几乎打乱了旷视自研框架的开发节奏。面对国外科技巨头的压力，自研框架的路子是坚持还是放弃，成为当时旷视内部一场激烈持久的讨论。

终于，在经过一次大规模的性能评测后，旷视的研究人员发现，当时刚开源的TensorFlow性能并不理想，比旷视的自研框架还要慢上10倍。

正是这一发现，让旷视更加坚定不移地踏上自研框架的道路，并一路狂飙突进，不断克服研发道路上的阻碍，相继研发了深度学习云计算平台MegCompute和数据管理平台MegData，与深度学习框架共同构成了AI生产力平台Brain++。

因此，Brain++是一个集算法、算力和数据为一体的AI底层平台，拥有数据处理、清洗、管理，以及大规模分布式训练和计算等能力，帮助旷视开发了大量部署于云端、移动端、边缘端等全计算平台的先进深度神经网络。

值得一提的是，在Brain++的数据、算法和算力三大核心架构中，最为核心开源了的深度学习框架天元MegEngine。

随着AI产业发展的浪潮越来越汹涌，为了进一步加速AI技术落地，给更多开发者和企业用户提供开发选择，旷视从2019年起决定开源Brain++最核心的深度学习框架MegEngine，并为它了一个全新的名字——天元。

“天元”意味着围棋中棋盘的正中心，也代表着古代数学概念中所有复杂方程式的基础，还是古代天文学中指代万物本源和开始的北极星。

“天元”这一名字的寓意背后，既表达了旷视希望MegEngine成为AI行业发展壮大的基石和重要组成部分，也透露出它之于旷视技术战略布局的最核心地位，是其AI宏图中最为关键和重要的底层基础设施。

在准备开源的一年时间里，旷视对MegEngine的整个框架进行了脱胎换骨般的基础性升级和改动，研究人员对框架的所有代码进行了梳理和重组，并引入了动静合一等新特性，同时还进一步打磨对外接口，使其更符合广大开发者们的使用习惯。

直至昨日，前后历时6年产业实践和工业验证的天元MegEngine，终于开源面世。

同时，旷视云服务业务资深副总裁赵立威在发布会上表示，旷视将面向高校师生、企业开发者逐步开放Brain++的核心能力，为企业用户提供AI生产全流程服务。

实际上，旷视的开源定位与大多数开源玩家的定位不太一样，最显著的差异在于旷视是目前所有AI开源公司中，唯一一家以AI为主业的公司。

“天元是为了工业级、研究院规模的研发机构而开发的算法研发基础组件。”旷视研究院高级技术总监田忠博谈到，天元所具备的训练推理一体化等核心特点，都是为了解决开发者现实研发过程中的痛点而存在。

至此，旷视天元MegEngine的AI开源宏图正朝着未来缓缓铺开。

五大架构+四大技术优势助力多产业AI化发展

历时6六年自主研发和打磨的天元深度学习框架到底是什么？

从架构上看，天元具体分为计算接口、图表示、优化与编译、运行时管理和计算内核五层。

若说谷歌TensorFlow采用利于部署的静态图更适用于工业界，而Facebook PyTorch采用灵活且方便调试的动态图更适合学术科研。那么旷视的天元则在兼具了双方特性的过程中，找到了一个的平衡点。

“天元是一个训练和推理在同一个框架、同一个体系内完整支持的设计。”田忠博谈到，天元从实际问题出发，提供了许多深度学习和AI落地问题的解决方案。

基于这些创新性的框架设计，天元深度学习框架拥有推理训练一体化、动静合一、兼容并包和灵活高效四大优势。

1、训练推理一体化

天元既能够支持开发者进行算法训练，同时其训练得到的模型，还可以直接用于产品的推理和封装，无需进行多余的模型转换。这极大地简化了算法开发流程，实现速度和精度的无损迁移。

与此同时，天元在模型部署时还能够自动优化模型，自动帮助开发者删除冗余代码。

2、动静合一

天元将动态图的简单灵活，与静态图的高性能优势进行整合，能在充分利用动态图模型训练优势的同时，通过动静态一键转换功能，以静态图的形式完成生产和部署。

此外，天元还支持动静态的混合编程，进一步提高其灵活性。

3、兼容并包

天元部署了Pythonic的API和PyTorch Module功能，支持模型直接导入，进一步降低框架迁移的入门门槛和学习成本。

同时，它内置高性能计算机视觉算子和算法，能够深度优化计算机视觉相关模型训练和应用。

4、灵活高效

在部署方面，天元拥有多平台多设备适应能力，其内置算子能够在推理或生产环境中充分利用多核优势，灵活调用设备算力，十分适用于大模型算法训练。

从另一角度看，天元亦是一个面向工业级、研究院规模的研发机构而设计的算法研发基础组件。

例如其训练推理一体化优势，能够帮助开发者简化复杂的模型生产流程，大幅度地缩短了算法研发和部署的时间，帮助企业快速地将算法变成产品，以投放到市场中，更好地满足大规模工业级、生产级项目的AI需求。

天元的这些优势和特点，无疑为中国各大产业的AI化转型和发展提供了重要的技术支持。

目前，旷视推出的天元是Alpha版本，其中包括旷视前期整理的代码和关键步骤。田忠博谈到，今年6月旷视将推出天元的Beta版本，届时将添加对Arm系列CPU的支持，以及更多加速芯片的支持。

而天元的正式版本将于今年9月发布，除了添加对主流计算设备的支持外，还将升级其动态计算能力，进一步优化训练推理全流程的使用体验。

与此同时，旷视天元已在GitHub和国内新一代人工智能开源开放社区OpenI上同步开源。

结语：国家新基建浪潮下，旷视的开源初心与野望

随着计算机产业和AI技术的发展，开源已经成为行业创新和技术落地的推动力，同时也是加速AI行业落地的重要引擎之一。

随着近年来大国之间的科技竞赛愈演愈烈，AI技术的成熟与落地即代表着一个国家的科技硬实力水平。与此同时，5G、AI、物联网和大数据等新兴技术的每一步发展，都将不同程度地推动国家新基建的成长与爆发。

而旷视天元，则是引燃这场爆发，以及时代变革浪潮中的一股重要力量。

未来，中国要想真正立于世界AI科技舞台的潮头，不仅需要靠新科技力量的发展和创新，更需要一个开放、包容和多样化的科技环境和生态。

在这场变革的漩涡之中，旷视还会给我们带来哪些新的技术和惊喜？时间会告诉我们答案。

（本账号系网易新闻·网易号“各有态度”签约帐号）

---

 公开课预告 

---

---