By User Lamré on sv.wikipedia https://commons.wikimedia.org/w/index.php?curid=801434 罗马时代（2019 ~ 2020） 正如人类历史的发展一样，深度学习框架经过一轮激烈的竞争，最终形成了两大「帝国」：TensorFlow 和 PyTorch 的双头垄断，这两大「帝国」代表了深度学习框架研发和生产中 95% 以上的用例。2019 年，Chainer 团队_将他们的开发工作转移到 PyTorch；类似地，微软_停止了 CNTK 框架的积极开发，部分团队成员转而支持 Windows 和 ONNX 运行时上的 PyTorch。Keras 被 TensorFlow 收编，并在 TensorFlow 2.0 版本中成为其高级 api 之一。在深度学习框架领域，MXNet 仍然位居第三。 在此期间，深度学习框架空间有两种趋势。首先是大型模型训练。随着 BERT[3] 的诞生，以及它的近亲 GPT-3[4] 的诞生，训练大型模型的能力成为了深度学习框架的理想特性。这就要求深度学习框架能够在数百台（如果不是数千台的话）设备的规模下有效地进行训练。第二个趋势是可用性。这一时期的深度学习框架都采用命令式编程风格，语义灵活，调试方便。同时，这些框架还提供了用户级的装饰器或 api，以通过一些 JIT（即时）编译器技术实现高性能。
By Tharunbr77 — Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=86866550 工业时代（2021+） 深度学习在自动驾驶、个性化推荐、自然语言理解到医疗保健等广泛领域取得了巨大成功，带来了前所未有的用户、开发者和投资者浪潮。这也是未来十年开发深度学习工具和框架的黄金时期。尽管深度学习框架从一开始就有了长足的发展，但它们之于深度学习的地位还远远不如编程语言 JAVA/ c++ 之于互联网应用那样的成熟。还有很多令人兴奋的机会和工作有待探索和完成。 展望未来，有几个技术趋势有望成为下一代深度学习框架的主流：
统一的 API 标准。许多深度学习框架共享类似但略有不同的用户 api。这给用户从一个框架切换到另一个框架带来了困难和不必要的学习曲线。虽然大多数机器学习从业者和数据科学家都熟悉 NumPy库，但在新的深度学习框架中，NumPy API 自然会成为 tenor 操作 API 的标准。我们已经看到快速发展的框架 JAX 受到了用户的热烈欢迎，它的 api 完全与 NumPy 兼容。
数据搬运作为一等公民。多节点或多设备训练正在成为深度神经网络训练的规范。最近开发的深度学习框架，如 OneFlow，从设计的第一天起就将这一观点纳入设计考虑，并将数据通信视为模型训练的整体计算图的一部分。这为性能优化打开了更多的机会，而且由于它不需要像以前的深度学习框架那样维护多种训练策略（单设备 vs 分布式训练），因此除了提供更好的性能之外，它还可以提供更简单的用户界面。
总结 我们正处于一场人工智能革命的黎明。人工智能领域的新研究和新应用正在以前所未有的速度涌现。八年前，AlexNet 网络包含 6000 万个参数，最新的 GPT-3 网络包含 1750 亿参数，网络规模在 8 年内增加了 3000 倍！另一方面，人类的大脑包含大约 100 万亿个参数（即突触）。这表明，如果有可能的话，神经网络要达到人类的智能水平还有很大的差距。 这种难以接受的网络规模对模型训练和推理的硬件和软件计算效率都提出了很大的挑战。未来的深度学习框架很可能是算法、高性能计算、硬件加速器和分布式系统的跨学科成果。 作者简介 Lin Yuan是Waymo的一名资深软件工程师。他为自动驾驶汽车的感知和规划任务开发了机器学习平台。在加入Waymo之前，他曾在Amazon AI从事大规模分布式学习。他是Apache深度学习框架MXNet和LFAI分布式学习库Horovod的代码提交者和主要贡献者。 在从事AI领域的工作之前，他在VLSI设计和自动化方面积累了丰富的经验。他曾担任ICCAD会议的设计自动化会议和技术程序委员会（Design Automation Conference and Technical Program Committee）主席。他获得了马里兰大学帕克分校的计算机工程博士学位。 [1] Alex Krizhevsky et al., ImageNet Classification with Deep Convolutional Neural Networks (2012), NeurIPS 2012[2] Kaiming He et al., Deep Residual Learning for Image Recognition (2016), CVPR 2016[3] Jacob Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2018)[4] Tom B. Brown et al., Language Models are Few-Shot Learners (2020), NeurIPS 2020[5] Announcing the Consortium for Python Data API Standards (2020) 链接：https://syncedreview.com/2020/12/14/a-brief-history-of-deep-learning-frameworks/ 视觉模型核心难点攻破：小目标检测技术详解「三小时AI开发进阶」公开课上线！本周四（12月17日）20:00，百度高级研发工程师可乐老师将在第一课《小目标检测技术详解》中介绍：
