深度学习平台你知道多少？

Posted 卓晴

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习平台你知道多少？相关的知识，希望对你有一定的参考价值。

  • 导读：近几年随着深度学习算法的发展，出现了许多深度学习框架。这些框架各有所长，各具特色。常用的开源框架有TensorFlow、Keras、Caffe、PyTorch、Theano、CNTK、MXNet、PaddlePaddle、Deeplearning4j、ONNX等。

  • 作者：谢佳标

  • 来源：大数据DT（ID：hzdashuju）
     

§01 框架总览

1.1 Tensorflow

  • 框架名称：TensorFlow
  • 主要维护方：Google
  • 支持的语言：C++/Python/Java/R 等
  • GitHub源码地址：https://github.com/tensorflow/tensorflow

1.2 Keras

  • 框架名称：Keras
  • 主要维护方：Google
  • 支持的语言：Python/R
  • GitHub源码地址：https://github.com/keras-team/keras

1.3 Caffe

  • 框架名称：Caffe
  • 主要维护方：BVLC
  • 支持的语言：C++/Python/Matlab
  • GitHub源码地址：https://github.com/BVLC/caffe

1.4 Pytorch

  • 框架名称：PyTorch
  • 主要维护方：Facebook
  • 支持的语言：C/C++/Python
  • GitHub源码地址：https://github.com/pytorch/pytorch

1.5 Theano

  • 框架名称：Theano
  • 主要维护方：UdeM
  • 支持的语言：Python
  • GitHub源码地址：https://github.com/Theano/Theano

1.6 CNTK

  • 框架名称：CNTK
  • 主要维护方：Microsoft
  • 支持的语言：C++/Python/C#/.NET/Java/R
  • GitHub源码地址：https://github.com/Microsoft/CNTK

1.7 MXNet

  • 框架名称：MXNet
  • 主要维护方：DMLC
  • 支持的语言：C++/Python/R等
  • GitHub源码地址：https://github.com/apache/incubator-mxnet

1.8 PaddlePaddle

  • 框架名称：PaddlePaddle
  • 主要维护方：Baidu
  • 支持的语言：C++/Python
  • GitHub源码地址：https://github.com/PaddlePaddle/Paddle/

1.9 Deeplearning4j

  • 框架名称：Deeplearning4j
  • 主要维护方：Eclipse
  • 支持的语言：Java/Scala等
  • GitHub源码地址：https://github.com/eclipse/deeplearning4j

1.10 ONNX

  • 框架名称：ONNX
  • 主要维护方：Microsoft/ Facebook
  • 支持的语言：Python/R
  • GitHub源码地址：https://github.com/onnx/onnx

下面开始对各框架进行概述，让读者对各个框架有个简单的认知，具体的安装及使用方法不在本文赘述。

 

§02 框架介绍

2.1 TensorFlow

谷歌的TensorFlow可以说是当今最受欢迎的开源深度学习框架，可用于各类深度学习相关的任务中。TensorFlow = Tensor + Flow，Tensor就是张量，代表N维数组；Flow即流，代表基于数据流图的计算。

  • TensorFlow是目前深度学习的主流框架，其主要特性如下所述。
  • TensorFlow支持Python、javascript、C ++、Java、Go、C＃、Julia和R等多种编程语言。
  • TensorFlow不仅拥有强大的计算集群，还可以在ios和android等移动平台上运行模型。
  • TensorFlow编程入门难度较大。初学者需要仔细考虑神经网络的架构，正确评估输入和输出数据的维度和数量。
  • TensorFlow使用静态计算图进行操作。也就是说，我们需要先定义图形，然后运行计算，如果我们需要对架构进行更改，则需要重新训练模型。选择这样的方法是为了提高效率，但是许多现代神经网络工具已经能够在学习过程中改进，并且不会显著降低学习速度。在这方面，TensorFlow的主要竞争对手是PyTorch。

▲ 图2.1.1 TensorFlow

RStudio提供了R与TensorFlow的API接口，RStudio官网及GitHub上也提供了TensorFlow扩展包的学习资料。

2.2 Keras

Keras是一个对小白用户非常友好且简单的深度学习框架。如果想快速入门深度学习， Keras将是不错的选择。

Keras是TensorFlow高级集成API，可以非常方便地和TensorFlow进行融合。Keras在高层可以调用TensorFlow、CNTK、Theano，还有更多优秀的库也在被陆续支持中。Keras的特点是能够快速搭建模型，是高效地进行科学研究的关键。

Keras的基本特性如下：

  • 高度模块化，搭建网络非常简洁；
  • API简单，具有统一的风格；
  • 易扩展，易于添加新模块，只需要仿照现有模块编写新的类或函数即可。

▲ 图2.2.1 Keras

RStudio提供了R与Keras的API接口，RStudio的官网及GitHub上也提供了Keras扩展包的学习资料。

2.3 Caffe

Caffe是由AI科学家贾扬清在加州大学伯克利分校读博期间主导开发的，是以C++/CUDA代码为主的早期深度学习框架之一，比TensorFlow、MXNet、PyTorch等都要早。Caffe需要进行编译安装，支持命令行、Python和Matlab接口，单机多卡、多机多卡等都可以很方便使用。

Caffe的基本特性如下。

  • 以C++/CUDA/Python代码为主，速度快，性能高。
  • 工厂设计模式，代码结构清晰，可读性和可拓展性强。
  • 支持命令行、Python和Matlab接口，使用方便。
  • CPU和GPU之间切换方便，多GPU训练方便。
  • 工具丰富，社区活跃。

▲ 图2.3.1 Caffe

同时，Caffe的缺点也比较明显，主要包括如下几点。

  • 源代码修改门槛较高，需要实现正向/反向传播。
  • 不支持自动求导。
  • 不支持模型级并行，只支持数据级并行。
  • 不适合非图像任务。

虽然Caffe已经提供了Matlab和Python接口，但目前不支持R语言。caffeR为Caffe提供了一系列封装功能，允许用户在R语言上运行Caffe，包括数据预处理和网络设置，以及监控和评估训练过程。该包还没有CRAN版本，感兴趣的读者可以在GitHub找到caffeR包的安装及使用的相关内容。

2.4 Pytorch

yTorch是Facebook团队于2017年1月发布的一个深度学习框架，虽然晚于TensorFlow、Keras等框架，但自发布之日起，其受到的关注度就在不断上升，目前在GitHub上的热度已经超过Theano、Caffe、MXNet等框架。

PyTroch主要提供以下两种核心功能：

  • 支持GPU加速的张量计算；
  • 方便优化模型的自动微分机制。

▲ 图2.4.1 Pytorch

PyTorch的主要优点如下。

  • 简洁易懂：PyTorch的API设计相当简洁一致，基本上是tensor、autograd、nn三级封装，学习起来非常容易。
  • 便于调试：PyTorch采用动态图，可以像普通Python代码一样进行调试。不同于TensorFlow，PyTorch的报错说明通常很容易看懂。
  • 强大高效：PyTorch提供了非常丰富的模型组件，可以快速实现想法。

2.5 Theano

Theano诞生于2008年，由蒙特利尔大学的LISA实验室开发并维护，是一个高性能的符号计算及深度学习框架。它完全基于Python，专门用于对数学表达式的定义、求值与优化。得益于对GU的透明使用，Theano尤其适用于包含高维度数组的数学表达式，并且计算效率比较高。

▲ 图2.5.1 Theano

因Theano出现的时间较早，后来涌现出一批基于Theano的深度学习库，并完成了对Theano的上层封装以及功能扩展。在这些派生库中，比较著名的就是本书要学习的Keras。Keras将一些基本的组件封装成模块，使得用户在编写、调试以及阅读网络代码时更加清晰。

2.6 CNTK

▲ 图2.6.1 CNTK

CNTK（Microsoft Cognitive Toolkit）是微软开源的深度学习工具包，它通过有向图将神经网络描述为一系列计算步骤。在有向图中，叶节点表示输入值或网络参数，其他节点表示其输入上的矩阵运算。

CNTK允许用户非常轻松地实现和组合流行的模型，包括前馈神经网络（DNN）、卷积神经网络（CNN）和循环神经网络（RNN、LSTM）。与目前大部分框架一样，CNTK实现了自动求导，利用随机梯度下降方法进行优化。

CNTK的基本特性如下。

  • CNTK性能较好，按照其官方的说法，它比其他的开源框架性能都要好。
  • 适合做语音任务，CNTK本就是微软语音团队开源的，自然更适合做语音任务，便于在使用RNN等模型以及时空尺度时进行卷积。

微软开发的CNTK-R包提供了R与CNTK的API接口。感兴趣的读者可以通过以下网址进行学习。

2.7 MXNet

▲ 图2.7.1 MXNet

MXNet框架允许混合符号和命令式编程，以最大限度地提高效率和生产力。MXNet的核心是一个动态依赖调度程序，可以动态地自动并行化符号和命令操作。其图形优化层使符号执行更快，内存效率更高。

MXNet的基本特性如下。

  • 灵活的编程模型：支持命令式和符号式编程模型。
  • 多语言支持：支持C++、Python、R、Julia、JavaScript、Scala、Go、Perl等。事实上，它是唯一支持所有R函数的构架。
  • 本地分布式训练：支持在多CPU/GPU设备上的分布式训练，使其可充分利用云计算的规模优势。
  • 性能优化：使用一个优化的C++后端引擎实现并行I/O和计算，无论使用哪种语言都能达到最佳性能。
  • 云端友好：可直接与S3、HDFS和Azure兼容。

2.8 ONNX

▲ 图2.8.1 ONNX

ONNX（Open Neural Network eXchange，开放神经网络交换）项目由微软、亚马逊、Facebook和IBM等公司共同开发，旨在寻找呈现开放格式的深度学习模型。ONNX简化了在人工智能不同工作方式之间传递模型的过程，具有各种深度学习框架的优点。

ONNX的基本特性如下。

  • ONNX使模型能够在一个框架中进行训练并转移到另一个框架中进行预测。
  • ONNX模型目前在Caffe2、CNTK、MXNet和PyTorch中得到支持，并且还有与其他常见框架和库的连接器。

onnx-r包提供了R与ONNX的API接口。感兴趣的读者可以通过以下网址进行学习。

● 相关图表链接:

以上是关于深度学习平台你知道多少？的主要内容，如果未能解决你的问题，请参考以下文章

深度学习平台的未来：谁会赢得下半场？

深度关于非对称加密你知道多少？

如何估计深度学习需要多少 GPU 内存？

19行关键代码，带你轻松入门PaddlePaddle单机训练

开源深度学习平台 TensorFlowCaffeMXNet……哪个最适合你

深度学习在美团点评推荐平台排序中的应用--学习笔记