“我们决定去登月”

Posted 2021-08-31 OneFlow深度学习框架

近100年前，在英国探险家乔治·马洛里准备向珠穆朗玛峰发起第二次登峰挑战时，记者问他为什么要攀登珠峰？一个朴素却闻名于世的回答脱口而出：因为它就在那里。

60年前，为了鼓励美国人民支持阿波罗计划，美国前总统约翰·肯尼迪在赖斯大学发表了一篇鼓舞人心的演讲，以回答为什么要登月：我们决定去登月，不是因为它轻而易举，而恰恰在于它困难重重。

 

4年前创业至今，类似的疑问不断涌向我们，为什么要投身开源深度学习框架？因为我们对框架的未来有与众不同的理解，相信深度学习框架应该这么做，如果没人这样去做，我们就要责无旁贷地去按照自己的判断打造用户最需要的产品。我们与那些众人敬仰的伟大探险家和科技开拓者有着类似的使命感：热爱挑战、愿意冒险、志在必得。仅此而已。

 

2020年7月31日，在GitHub上，那个历时1300天、由30名工程师团队打造的OneFlow深度学习框架终于开源，它蕴藏着一份初生的喜悦和野心。那天，我们收到了很多开发者的鼓励，还有一些一如既往的质疑，“顾客都下席了，才上菜啊？” ......

 

在它开源的第2天，第一个合作案例上线了。作为共同研发OneFlow的合作方，之江实验室面向全球开发者推出“之江天枢人工智能开源平台”，该平台以它为首选框架，成为其在支持计算机视觉、虚拟现实、自然语言理解等大规模人工智能应用的发动机。

 

2020年8月7日，开源一周内，它收获了82个Watchers，131个Forks和1600个Stars。OneFlow社区还接收了开发者提交的30个Issues，127次Commits，修改527个文件，添加了4950行代码。感谢vincentzlt，scarsty，Yazhou-Liu等每一位开发者的反馈和建议，没有你们的关注，OneFlow黯淡无光。

 

2020年10月9日，OneFlow v0.2.0发布，gRPC、Tensorflow XLA升级到最新版，实现了多达17项性能优化，大幅改善了国内开发者源码编译OneFlow的体验，运行CNN和Bert类型的模型效率远超其它框架。

 

随后，通过训练InsightFace、HugeCTR、GPT等模型，它在各个方面的基准测试中展示了基于全新打造的通用框架上的简单方案比在原有框架基础上深度定制的复杂方案高出一截的极致效率。它在分布式和效率上已傲视群雄，解决了用户需求中最难的挑战，但这并不完美，社区用户也在呼唤易用性体验。

 

2020年12月18日，OneFlow v0.3.2发布 ，加入了内存亚线性优化、Python Kernel等特性，性能更优，用户体验更友好，且率先支持CUDA 11.1。

 

2021年6月15日，OneFlow v0.4.0发布，这是其开源以来的最大版本更新。本次更新新增了多项功能，使得开发者的易用性体验大幅提升，包括：增加2-D SBP、流水并行，Checkpointing的新接口以及大量对齐PyTorch的接口，支持CUDA 11.2。

 

当然，OneFlow的易用性距离用户期待还有距离，因此在这之前我们没有主动做大规模推广。即便如此，在开源的这一年，仅仅通过开发者的自发传播，OneFlow在GitHub上获得了2567个Stars（截止发稿）。

 

即将发布的OneFlow v0.5.0版本则会在单卡使用体验上和PyTorch对齐，进一步降低开发者上手门槛，同时，在多卡场景下推出的全新设计的编程接口，将给用户带来革命性开发体验。此外，通过补全推理和服务工具链、增加模型库、适配底层芯片等工作，推动OneFlow框架的生态更上一层楼。

 

自始至终，通过一篇篇高质量的博客，我们还坚持把设计和开发OneFlow的最深层逻辑都毫无保留进行分享，让所有开发者看到它敞开的怀抱。

 

鉴于它目前所展现的核心优势，业内专家这样评价：

 

Actor机制以及把集群当成一个Big Machine等核心设计敢为人先，给抽象分布式异构训练集群提供了新思路，除了为更优性能打开更多机会，还能提供更简单的用户界面，不管在哪个层面上，都在试图为用户提供最好的选择......

 

同类框架也在某些层面向它“致敬”，比如高效性上开始重视运行时系统的优化，跟进分布式并行中与Actor和SBP类似的机制......关于它的技术理念和创新实践，还会不断分享给社区，欢迎同行工程师持续关注OneFlow的最新进展，以及招聘启事θ_o

 

最重要的是，从最初作为旁观者的将信将疑，越来越多的企业转而投入人力来测试OneFlow，甚至用它开发应用。最终的效果会证明，他们的抉择是正确的。

 

种种迹象表明，它的产品力已逐步发挥效果。其核心维护者一流科技也因此得到了不少鼓励和支持：

 

2021年1月15日，一流科技在2020-2021“AI中国”机器之心人工智能年度奖项评选中摘得三项大奖，包括：“最强开源技术生态TOP10”、“最具商业价值解决方案TOP30”、“最具产业价值技术应用落地案例TOP30”。

 

2021年2月4日，一流科技完成由高瓴创投独家领投的5000万元人民币A轮融资。

 

2021年4月8日，全球知名创投研究机构CBInsights发布了全球100家最具潜力AI初创企业名单，本届榜单由其研究团队从6000余家创业企业中挑选而出，共有6家中国企业入选，一流科技列席其中。

 

2021年6月8日，OneFlow入选“2021世界人工智能大会SAIL奖TOP 30”榜单。

 

后起之秀的崛起从来不易。此刻，中国的神舟十二号飞船正在以每秒约7.9公里的速度行进于300多公里外的宇宙之间，幸运的话，当你遥望星空就能看见。有人在感慨生逢其时，与有荣焉，但别忘了，在上世纪那个一穷二白的年代，中国的航天工程也曾遭受冷眼，技术封锁，曾经的心血也曾坠落成残骸，但民族的进取精神和人类的探索精神驱使着先驱者们一往无前。

 

与这些为人类的伟大科技探索事业所付出牺牲与泪水的先驱者相比，OneFlow的成长只是走过了任何不平凡成功所必经的洗礼：出生在巨头林立的夹缝之中，曾被强者崇拜的心态嗤之以鼻.....道阻且长，最终考验的是团队的毅力和决心。

 

改变深度学习框架的竞争格局绝非易事。当初基于逻辑推演出来的很多判断，在他人看来却是反常识的，但这些争论在今天不再重要，因为OneFlow对框架发展的关键论断越来越多的得到验证，譬如深度学习框架需要支持超大规模模型，模型并行、流水并行是必选项，框架生态的壁垒是结果而非原因，是可逆转的，而整个框架市场尚在百家争鸣阶段，远未收敛。

 

不同于成熟基础软件领域那种百米赛跑式的竞赛，深度学习框架领域的竞争是一场丛林探险，对未来有准确的判断对取胜至关重要，这也是小团队有机会超越大团队的原因。如果没有对框架发展的这些基本认知，我们不会在质疑声中仍坚定不移。

 

框架竞争之路暗潮汹涌，但用户转向的窗口正在打开。在OneFlow开源一周年纪念日之际，我们正在八百里加急为新版本发布做最后的准备，争取给社区用户以颠覆式的易用性体验，而完善框架生态也是OneFlow正在打的一场硬仗。我们坚信，通过持续地创新和探索，最好的深度学习框架必将赢得未来。

 

新的转机和闪闪星斗正在缀满没有遮拦的天空。我们会通过全方位的工作，日拱一卒，与社区开发者一起持续打磨OneFlow飞船，直到飞越群星，登上“月球”。

 

2021年8月2日

点击“阅读原文”，欢迎下载体验OneFlow新一代开源深度学习框架

---