重磅微软Facebook联手发布AI生态系统，CNTK+Caffe2+PyTorch挑战TensorFlow

Posted 2021-05-02 新智元

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了重磅微软Facebook联手发布AI生态系统，CNTK+Caffe2+PyTorch挑战TensorFlow相关的知识，希望对你有一定的参考价值。

新智元编译

来源：Facebook、微软官方博客

【新智元导读】夜间重磅，微软Facebook联手发布AI生态系统，推出 Open Neural Network Exchange（ONNX，开放神经网络交换）格式，这是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。ONNX是迈向开放生态系统的第一步，AI开发人员可以轻松地在最先进的工具之间转换，并选择最适合他们的组合。但是，现在系统支持的框架只有Caffe2，PyTorch 和Cognitive Toolkit ，谷歌的TensorFlow并没有被包含在内。在TensorFlow的市场份额迅猛增长的当下，两家企业的联手，似乎有特别的意味。

Facebook 和微软刚刚宣布，推出 Open Neural Network Exchange（ONNX，开放神经网络交换）格式，这是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。ONNX是迈向开放生态系统的第一步，AI开发人员可以轻松地在最先进的工具之间转换，并选择最适合他们的组合。

以下是Facebook、微软官方博客的介绍：

在开发学习模型时，工程师和研究人员有许多AI框架可以选择。在项目开始时，开发人员必须选择对应一个框架的特征（features）。很多时候，在研发过程中进行实验时选择的 feature 与生产所需的 feature 是不一致的。许多组织都没有很好的方法来消除这些操作模式之间的差距，只有采取一系列创造性的解决办法来应对，例如要求研究人员在生产系统中工作或人工翻译模型。

Facebook 与微软一起开发了 ONNX，以弥合这一差距，让AI开发人员可以选择符合项目当前阶段的框架，并随着项目的发展轻松切换框架。Caffe2，PyTorch 和Cognitive Toolkit 将在9月份发布对 ONNX 的支持，这将允许在其中一个框架训练的模型导出到另一个框架来进行推理。我们邀请社区加入这一努力，并在其生态系统中支持ONNX。实现不同框架之间的相互操作性，简化从研究到生产的过程，将有助于提高AI社区创新的速度。

ONNX 在 Facebook 内部使用

ONNX 是 Facebook 深度学习方法的重要组成部分。在Facebook的AI团队（FAIR和AML）中，我们不断尝试推动AI的前沿研究，开发更好的学习算法。当我们得到一个突破时，我们希望尽快在应用中提供更好的技术。通过ONNX，我们专注于将AI研究和产品实现更紧密地结合在一起，从而更快地进行创新和部署。

尝试新模型的人们，特别是研究人员，希望在编写神经网络时拥有最大的灵活性和表现力——从动态神经网络到支持梯度渐变（gradients of gradients），同时保持基本的ConvNet性能。研究人员也想实现快速迭代，这意味着他们需要优秀的交互式开发和调试工具。PyTorch旨在突破研究框架的局限，使研究人员免受平台的限制，让他们能够比以前更容易地表达想法。

相反，产品流程每天都需要对大量新的数据进行训练和推理，同时保持模型大部分不变。仔细优化产品的特定模型的代码，例如通过量化和仔细编写人工调整的代码（hand-tuned code）之类的技巧节省资源。Caffe2已经在产品、移动和极端考虑性能的情况构建起来。Caffe2的内部灵活而且高度优化，所以我们可以利用技巧将更大更好的模型部署到性能不足的硬件中。

通过 ONNX，我们可以在这两个方面获得最优。我们现在可以从PyTorch导出许多常见神经网络的模型，并将它们部署在Caffe2上。这是将最新的研究成果快速推向生产的第一步。在接下来的几个月中，我们将加强ONNX，并对Caffe2和PyTorch进行改进，使其能够更深入地互通。

怎么运行

为了实现ONNX支持，我们必须对PyTorch和Caffe2进行更改，并且在框架之间统一运算符。在Caffe2中，这个过程类似于添加一个翻译器，因为Caffe2已经有一个内置的静态图。在PyTorch中，神经网络是被定义为程序而不是显式图，因此这带来了更大的挑战。为了从程序中提取图，我们开发了一个跟踪器，将运行时程序执行的操作记录下来。跟踪程序消除了复杂性，并使其更容易转换为图表示。

要了解它是如何工作的，看以下代码：

x = y * 2
if someComplicatedFunction():
  z = x + y
else:
  z = x * y

要直接导出此代码，ONNX将不得不支持conditionals和某些复杂函数 someComplicatedFunction()；实际上成了通用编程语言。然而，在许多深度学习模型中，someComplicatedFunction() 的结果在推理过程中总是相同的。例如，在PyTorch条件中，通常是对输入张量的大小或尺寸进行的一些计算。在这些情况下，通过代码的单一跟踪将会更简单，并且可以轻松地在ONNX中表示为：

#someComplicatedFunction() == True
x = y * 2 z = x + y

目前，我们的tracer能与许多常见的神经网络配合使用，但PyTorch中一些更先进的程序，比如有动态流控制（dynamic flow control）的程序还不行。随着时间的推移，我们将完善ONNX和tracer来支持这些程序，让开发人员可以充分利用PyTorch的灵活性与Caffe2的高性能强大部署功能。

微软：ONNX 表征具有框架互操作性和共享优化两大优点

在 Facebook 发布博客的同时，微软也发布了题为《微软和 Facebook 为 AI 模型的互操作性构建开放生态系统》的博客。在博客中，微软表示：

微软给大家做出的承诺是“”人人有机会更方便，更有价值。我们提供各种平台和工具来促进这一点，包括我们的认知工具包，一个构建深层神经网络的开源框架。我们还与其他分享我们观点的组织合作，帮助 AI 社区。

今天，我们高兴地宣布，微软和Facebook 一起推出Open Neural Network Exchange (ONNX，开放神经网络交换) 格式。 ONNX为AI 框架生态系统中的互操作性和创新提供了共享的模型表征。CognitiveToolkit，Caffe2和PyTorch都将支持ONNX。微软和Facebook 共同开发了ONNX 这一开源项目，并希望社区能够帮助其不断进化。

什么是ONNX 表征？

Cognitive Toolkit 和其他框架提供了使开发人员更容易构建和运行表征神经网络的计算图的界面。虽然提供的功能类似，但是今天的每个框架都有自己表征这些图的格式。 ONNX表征有以下主要优点：

框架互操作性

开发人员可以更轻松地在框架间转换，并为手头的任务选择最佳工具。每个框架都针对具体特性进行了优化，如快速训练，支持灵活的网络架构，在移动端进行推理等等。许多时候，研发过程中最重要的特性与生产环节最重要的特性是不同的。这导致开发人员在框架之间进行模型转换时，会因框架使用不正确或明显延迟而使得效率降低。使用ONNX 表征的框架简化了这一点，使得开发人员更加灵活。

共享优化

硬件供应商和其他改进神经网络性能的优化可以通过定位ONNX 表征来同时影响多个框架。优化经常需要被分别整合进入每个框架，这一过程很费时间。ONNX 表征使得优化更容易实现，从而覆盖更多开发人员。

技术总结

ONNX 提供了可扩展计算图模型的定义，以及内置 operators 和标准数据类型的定义。起初我们专注于推理（评价）所需的能力。

每个计算数据流图被构造为形成非循环图的节点列表。节点具有一个或多个输入和一个或多个输出。每个节点是对 operators 的调用。

可用性

ONNX 代码和文档的初始版本现在已经在GitHub（https://github.com/onnx/onnx）上开源，呼唤着社区的立即参与。我们将积极开展基于ONNX 的工作，即将推出的Cognitive Toolkit 也将对其支持。我们还计划和Facebook一道，提供部署参考、示例、工具和model zoo。

ONNX 表征形成了开放生态系统的基础，使 AI 更容易获取并富有价值。开发人员可以为其任务选择合适的框架，框架作者可以专注于创新，硬件供应商可以简化优化流程。我们希望社区能够支持ONNX，以实现这一令人兴奋的愿景。

下一步是什么

我们今天发布最新版本的Caffe2和PyTorch，带有ONNX支持。我们希望你对新功能能跟我们一样兴奋！它们处于早期阶段，我们希望你们检查出来并提交你的反馈和改进。我们将继续发展ONNX，PyTorch和Caffe2，确保开发人员拥有AI的最新工具。敬请期待后续更新！