深度学习框架介绍

Posted 2022-04-25 自己的九又四分之三站台

在开始深度学习项目之前，选择一个合适的框架是非常重要的，因为选择一个合适的框架能起到事半功倍的作用。研究者们使用各种不同的框架来达到他们的研究目的，侧面印证出深度学习领域百花齐放。全世界最为流行的深度学习框架有以下，欢迎补充。

1. PaddlePaddle

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，是中国首个自主研发、功能完备、开源开放的产业级深度学习平台，集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体。目前，飞桨已凝聚超过265万开发者，服务企业10万家，基于飞桨开源深度学习平台产生了34万个模型 。飞桨助力开发者快速实现AI想法，快速上线AI业务。帮助越来越多的行业完成AI赋能，实现产业智能化升级。

• 飞桨在业内率先实现了动静统一的框架设计，兼顾灵活性与高性能，并提供一体化设计的高层API和基础API，确保用户可以同时享受开发的便捷性和灵活性。
• 在大规模分布式训练技术上，飞桨率先支持了千亿稀疏特征、万亿参数、数百节点并行训练的能力，并推出业内首个通用异构参数服务器架构，达到国际领先水平。
• 飞桨拥有强大的多端部署能力，支持云端服务器、移动端以及边缘端等不同平台设备的高速推理；飞桨推理引擎支持广泛的AI芯片，已经适配和正在适配的芯片或IP达到29款，处于业界领先地位。
• 飞桨围绕企业实际研发流程量身定制打造了大规模的官方模型库，算法总数达到270多个，服务企业遍布能源、金融、工业、农业等多个领域。

1.1. 主要维护方：

Baidu

1.2. 支持的语言：

C++/Python

1.3. 源码地址：

https://github.com/PaddlePaddle/Paddle/

1.4. 基本介绍

飞桨（PaddlePaddle）以百度多年的深度学习技术研究和业务应用为基础，集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体，是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。
IDC发布的2021年上半年深度学习框架平台市场份额报告显示，百度跃居中国深度学习平台市场综合份额第一。百度飞桨汇聚开发者数量达370万，服务 14 万企事业单位，产生了42.5 万个模型。 飞桨助力开发者快速实现AI想法，高效上线AI业务，帮助越来越多的行业完成AI赋能，实现产业智能化升级。

2. Tensorflow

TensorFlo是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。

Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究。

TensorFlow由谷歌人工智能团队谷歌大脑（Google Brain）开发和维护，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口（Application Programming Interface, API）。自2015年11月9日起，TensorFlow依据阿帕奇授权协议（Apache 2.0 open source license）开放源代码

Google 开源的Tensorflow是一款使用C++语言开发的开源数学计算软件，使用数据流图(Data Flow Graph)的形式进行计算。图中的节点代表数学运算，而图中的线条表示多维数据数组(tensor)之间的交互。Tensorflow灵活的架构可以部署在一个或多个CPU、GPU的台式及服务器中，或者使用单一的API应用在移动设备中。Tensorflow最初是由研究人员和Google Brain 团队针对机器学习和深度神经网络进行研究而开发，开源之后几乎可以在各个领域适用。

Tensorflow是全世界使用人数最多、社区最为庞大的一个框架，因为Google公司出品，所以维护与更新比较频繁，并且有着Python和C++的接口，教程也非常完善，同时很多论文复现的第一个版本都是基于Tensorflow写的，所以是深度学习界框架默认的老大。

2.1. 主要维护方：

Google

2.2. 支持的语言：

C++/Python/Java/R 等

2.3. 源码地址

https://github.com/tensorflow/tensorflow

2.4. 基本介绍

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vwzqzDBM-1650724164143)(2Tensorflow.png)]

谷歌的TensorFlow可以说是当今最受欢迎的开源深度学习框架，可用于各类深度学习相关的任务中。TensorFlow = Tensor + Flow，Tensor就是张量，代表N维数组；Flow即流，代表基于数据流图的计算。

TensorFlow是目前深度学习的主流框架，其主要特性如下所述。

• TensorFlow支持Python、javascript、C ++、Java、Go、C＃、Julia和R等多种编程语言。
• TensorFlow不仅拥有强大的计算集群，还可以在ios和android等移动平台上运行模型。
• TensorFlow编程入门难度较大。初学者需要仔细考虑神经网络的架构，正确评估输入和输出数据的维度和数量。
• TensorFlow使用静态计算图进行操作。也就是说，我们需要先定义图形，然后运行计算，如果我们需要对架构进行更改，则需要重新训练模型。选择这样的方法是为了提高效率，但是许多现代神经网络工具已经能够在学习过程中改进，并且不会显著降低学习速度。在这方面，TensorFlow的主要竞争对手是PyTorch。

学习地址：

• https://tensorflow.rstudio.com/tensorflow/
• https://github.com/rstudio/tensorflow

3. Caffe

和Tensorflow名气一样大的是深度学习框架Caffe，由加州大学伯克利的Phd贾扬清开发，全称是Convolutional Architecture for Fast Feature Embedding，是一个清晰而高效的开源深度学习框架，由伯克利视觉中心(Berkeley Vision and Learning Center，BVLC)进行维护。

从它的名字就可以看出其对于卷积网络的支持特别好，同时也是用C++写的，提供的C++接口，也提供了matlab接口和python接口。

Caffe之所以流行，是因为之前很多ImageNet比赛里面使用的网络都是用Caffe写的，所以如果你想使用这些比赛的网络模型就只能使用Caffe，这也就导致了很多人直接转到Caffe这个框架下面。

Caffe的缺点是不够灵活，同时内存占用高，Caffe的升级版本Caffe2已经开源了，修复了一些问题，同时工程水平得到了进一步提高。

3.1. 主要维护方：

BVLC

3.2. 支持的语言：

C++/Python/Matlab

3.3. 源码地址：

https://github.com/BVLC/caffe

3.4. 基本介绍

Caffe是由AI科学家贾扬清在加州大学伯克利分校读博期间主导开发的，是以C++/CUDA代码为主的早期深度学习框架之一，比TensorFlow、MXNet、PyTorch等都要早。Caffe需要进行编译安装，支持命令行、Python和Matlab接口，单机多卡、多机多卡等都可以很方便使用。

Caffe的基本特性如下。

• 以C++/CUDA/Python代码为主，速度快，性能高。
• 工厂设计模式，代码结构清晰，可读性和可拓展性强。
• 支持命令行、Python和Matlab接口，使用方便。
• CPU和GPU之间切换方便，多GPU训练方便。
• 工具丰富，社区活跃。

同时，Caffe的缺点也比较明显，主要包括如下几点。

• 源代码修改门槛较高，需要实现正向/反向传播。
• 不支持自动求导。
• 不支持模型级并行，只支持数据级并行。
• 不适合非图像任务。

虽然Caffe已经提供了Matlab和Python接口，但目前不支持R语言。caffeR为Caffe提供了一系列封装功能，允许用户在R语言上运行Caffe，包括数据预处理和网络设置，以及监控和评估训练过程。该包还没有CRAN版本，感兴趣的读者可以在GitHub找到caffeR包的安装及使用的相关内容。

https://github.com/cnaumzik/caf

4. Theano

Theano于2008年诞生于蒙特利尔理工学院，其派生出了大量的深度学习Python软件包，最著名的包括Blocks和Keras。Theano的核心是一个数学表达式的编译器，它知道如何获取你的结构，并使之成为一个使用numpy、高效本地库的高效代码，如BLAS和本地代码(C++)在CPU或GPU上尽可能快地运行。它是为深度学习中处理大型神经网络算法所需的计算而专门设计，是这类库的首创之一(发展始于2007年)，被认为是深度学习研究和开发的行业标准。

但是开发Theano的研究人员大多去了Google参与Tensorflow的开发，所以，某种程度来讲Tensorflow就像Theano的孩子。

4.1. 主要维护方：

UdeM

4.2. 支持的语言：

Python

4.3. 源码地址：

https://github.com/Theano/Theano

4.4. 基本介绍

Theano是在BSD许可证下发布的一个开源项目，诞生于加拿大魁北克蒙特利尔大学的LISA实验室，是用一位希腊数学家的名字命名的。

Theano是一个Python库，可用于定义、优化和计算数学表达式，特别是多维数组（numpy.ndarray）。在解决包含大量数据的问题时，使用Theano可实现比手写C 语言更快的编程速度。 而通过GPU加速，Theano甚至可以比基于CPU计算的C语言快上好几个数量级。

Theano结合了计算机代数系统（Computer Algebra System，CAS）和优化编译器，还可以为多种数学运算生成定制的C语言代码。对于包含重复计算的复杂数学表达式任务，计算速度很重要，因此这种CAS和优化编译器的组合是很有用的。

对于需要将每种不同数学表达式都计算一遍的情况，Theano能够实现编译/解析计算量的最小化，但仍然会给出如自动微分那样的符号特征。

在过去很长一段时间内，Theano是深度学习开发与研究的行业标准。而且由于诞生于学界，Theano最初是为学术研究而设计的， 深度学习领域的许多学者至今仍在使用Theano。

但随着TensorFlow在谷歌的支持下强势崛起，Theano日渐式微，使用的人越来越少。在这个过程中标志性事件是：Theano创始者之一Ian Goodfellow放弃Theano转去谷歌开发TensorFlow了。

2017年9月28日，在Theano 1.0正式版发布前夕，LISA实验室负责人、深度学习三巨头之一的 Yoshua Bengio宣布Theano将停止继续开发：“Theano is Dead.”

尽管Theano正慢慢退出历史舞台，但作为第一个Python深度学习框架，Theano很好地完成了自己的使命，为深度学习研究人员早期拓荒提供了极大的帮助，同时也为之后深度学习框架的开发奠定了基本设计方向：以计算图为框架的核心，采用GPU加速计算。

5. MXNet

MXNet的主要作者是李沐，最早就是几个人抱着纯粹对技术和开发的热情做起来的，如今成了亚马逊的官方框架，有着非常好的分布式支持，而且性能特别好，占用显存低，同时其开发的语言接口不仅仅有Python和C++，还有R，Matlab，Scala，JavaScript，等等，可以说能够满足使用任何语言的人。

但是MXNet的缺点也很明显，教程不够完善，使用的人不多导致社区不大，同时每年很少有比赛和论文是基于MXNet实现的，这就使得MXNet的推广力度和知名度不高。

5.1. 主要维护方：

DMLC

5.2. 支持的语言：

C++/Python/R等

5.3. 源码地址：

https://github.com/apache/incubator-mxnet

5.4. 基本介绍

MXNet框架允许混合符号和命令式编程，以最大限度地提高效率和生产力。MXNet的核心是一个动态依赖调度程序，可以动态地自动并行化符号和命令操作。其图形优化层使符号执行更快，内存效率更高。

MXNet的基本特性如下。

• 灵活的编程模型：支持命令式和符号式编程模型。
• 多语言支持：支持C++、Python、R、Julia、JavaScript、Scala、Go、Perl等。事实上，它是唯一支持所有R函数的构架。
• 本地分布式训练：支持在多CPU/GPU设备上的分布式训练，使其可充分利用云计算的规模优势。
• 性能优化：使用一个优化的C++后端引擎实现并行I/O和计算，无论使用哪种语言都能达到最佳性能。
• 云端友好：可直接与S3、HDFS和Azure兼容。

ONNX（Open Neural Network eXchange，开放神经网络交换）项目由微软、亚马逊、Facebook和IBM等公司共同开发，旨在寻找呈现开放格式的深度学习模型。ONNX简化了在人工智能不同工作方式之间传递模型的过程，具有各种深度学习框架的优点。

ONNX的基本特性如下。

• ONNX使模型能够在一个框架中进行训练并转移到另一个框架中进行预测。
• ONNX模型目前在Caffe2、CNTK、MXNet和PyTorch中得到支持，并且还有与其他常见框架和库的连接器。

onnx-r包提供了R与ONNX的API接口。感兴趣的读者可以通过以下网址进行学习。

• http://onnx.ai/onnx-r/
• https://github.com/onnx/onnx-r

6. Torch

Torch是一个有大量机器学习算法支持的科学计算框架，其诞生已有十年之久，但是真正起势得益于Facebook开源了大量Torch的深度学习模块和扩展。Torch的特点在于特别灵活，但是另一个特殊之处是采用了编程语言Lua，在深度学习大部分以Python为编程语言的大环境之下，一个以Lua为编程语言的框架有着更多的劣势，这一项小众的语言增加了学习使用Torch这个框架的成本。

7. PyTorch

PyTorch的前身便是Torch，其底层和Torch框架一样，但是使用Python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了Python接口。它是由Torch7团队开发，是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络，这是很多主流深度学习框架比如Tensorflow等都不支持的。
PyTorch既可以看作加入了GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了Facebook外，它已经被Twitter、CMU和Salesforce等机构采用。

7.1. 主要维护方：

Facebook

7.2. 支持的语言：

C/C++/Python

7.3. 源码地址：

https://github.com/pytorch/pytorch

7.4. 基本介绍：

PyTorch是Facebook团队于2017年1月发布的一个深度学习框架，虽然晚于TensorFlow、Keras等框架，但自发布之日起，其受到的关注度就在不断上升，目前在GitHub上的热度已经超过Theano、Caffe、MXNet等框架。

PyTroch主要提供以下两种核心功能：

• 支持GPU加速的张量计算；
• 方便优化模型的自动微分机制。

PyTorch的主要优点如下。

• 简洁易懂：PyTorch的API设计相当简洁一致，基本上是tensor、autograd、nn三级封装，学习起来非常容易。
• 便于调试：PyTorch采用动态图，可以像普通Python代码一样进行调试。不同于TensorFlow，PyTorch的报错说明通常很容易看懂。
• 强大高效：PyTorch提供了非常丰富的模型组件，可以快速实现想法。

8. CNTK

来自微软公司的CNTK工具包的效率，“比我们所见过的都要疯狂”。 这部分归功于CNTK可借助图形处理单元（GPU）的能力，微软自称是唯一公开“可扩展GPU”功能的公司。（从单机上的1个、延伸至超算上的多个） 在与该公司的网络化GPU系统（称之为Azure GPU Lab）匹配之后，它将能够训练深度神经网络来识别语音，让Cortana虚拟助理的速度达到以前的十倍。 去年4月的时候，CNTK就已经面向研究人员开放，只是当时的开源授权限制颇多。不过现在，它已经彻底开放了，而深度学习的初创者们将最为受益。

微软认知工具包 ( https://cntk.ai) 是一个统一的深度学习工具包，它通过有向图将神经网络描述为一系列计算步骤。在这个有向图中，叶节点表示输入值或网络参数，而其他节点表示对其输入的矩阵运算。CNTK 允许用户轻松实现和组合流行的模型类型，例如前馈 DNN、卷积网络 (CNN) 和循环网络 (RNN/LSTM)。它通过跨多个 GPU 和服务器的自动微分和并行化实现随机梯度下降（SGD，误差反向传播）学习。CNTK 自 2015 年 4 月起在开源许可下可用。我们希望社区能够利用 CNTK 通过交换开源工作代码更快地分享想法。

8.1. 主要维护方：

Microsoft

8.2. 支持的语言：

C++/Python/C#/.NET/Java/R

8.3. 源码地址：

https://github.com/Microsoft/CNTK

8.4. 基本介绍

CNTK（Microsoft Cognitive Toolkit）是微软开源的深度学习工具包，它通过有向图将神经网络描述为一系列计算步骤。在有向图中，叶节点表示输入值或网络参数，其他节点表示其输入上的矩阵运算。

CNTK允许用户非常轻松地实现和组合流行的模型，包括前馈神经网络（DNN）、卷积神经网络（CNN）和循环神经网络（RNN、LSTM）。与目前大部分框架一样，CNTK实现了自动求导，利用随机梯度下降方法进行优化。

CNTK的基本特性如下。

• CNTK性能较好，按照其官方的说法，它比其他的开源框架性能都要好。
• 适合做语音任务，CNTK本就是微软语音团队开源的，自然更适合做语音任务，便于在使用RNN等模型以及时空尺度时进行卷积。

微软开发的CNTK-R包提供了R与CNTK的API接口。感兴趣的读者可以通过以下网址进行学习。

• https://github.com/microsoft/CNTK-R
• https://microsoft.github.io/CNTK-R/

9. Keras

9.1. 主要维护方：

Google

9.2. 支持的语言：

Python/R

9.3. 源码地址

https://github.com/keras-team/keras

应用优势

深度学习框架的出现降低了入门的门槛，你不需要从复杂的神经网络开始编代码，你可以根据需要选择已有的模型，通过训练得到模型参数，你也可以在已有模型的基础上增加自己的layer，或者是在顶端选择自己需要的分类器和优化算法（比如常用的梯度下降法）。当然也正因如此，没有什么框架是完美的，就像一套积木里可能没有你需要的那一种积木，所以不同的框架适用的领域不完全一致。 总的来说深度学习框架提供了一些列的深度学习的组件（对于通用的算法，里面会有实现），当需要使用新的算法的时候就需要用户自己去定义，然后调用深度学习框架的函数接口使用用户自定义的新算法。