mxnet，theano与torch的简单比较

Posted 2020-06-21

　　这两天一直没有去准备这一周的内容，其实我也不是闲着，只不过被另外一个东西吸引了注意力。今天看了一天mxnet的文档，记了一点笔记，有点小收获，笔记会在另一篇随笔里面贴出来。

　　这篇文章我想来比较一下Theano和mxnet,Torch(Torch基本没用过，所以只能说一些直观的感觉)。我主要从以下几个方面来计较它们：

1.学习框架的成本，接口设计等易用性方面。

　　三个框架的学习成本在我看来是

　　Theano>Torch>mxnet

　　因为Torch底层语言是lua，一种类似python和js的脚本语言，熟悉python或者js的同学学起来应该挺容易（可我偏偏不会脚本语言）,但毕竟lua是一种比较小众的语言，所以对于大多数人来说还是需要花费一定的学习成本，因为我实在是没有太多的接触过，所以我只能凭感觉把它排在第二。对于刚从Theano转到mxnet的我来说，第一各感觉就是编程变的容易了，举一个非常简单的例子，在Theano中，定义一个Symbolic scalar还得先查查文档向量对应什么，矩阵对应什么（简直难受的要命），而mxnet中对应的symbolic variable只有一个方法。下图仅仅是Theano Symbolic scalar类型的一部分，当一个初学者使用时会带来极大的不便。

　　我为什么会觉得mxnet最容易学的一个重要原因是：虽然mxnet底层是由c++实现，但它提供了python,lua,R,Go和js等多种语言接口（最近好像还加入了jvm语言scala的接口），这使得使用不同语言的人都可以快速的使用上mxnet而不需要跨过一个语言的鸿沟。这也是为什么我觉得mxnet上手最容易。

2.框架的社区活跃程度，普及性

　　首先我们来看看三个框架在github上的star和fork数：

 

　　然后是贡献热度图：

　　三个框架中，最老牌的要数Theano，框架出现的时间最久，贡献热度也稳定。torch是三个中star数最多的，但是贡献热度确不是很高，mxnet是一个新兴的框架，这个框架的贡献者热情非常高涨，一些新近出现的模型可以找到（今天就有新加上了14年的一个比较新的神经语言模型）。所以，三个框架theano和troch已经比较稳定，而且也有大量的论文实验都是基于着两个框架的,mxnet出现的时间不久，但社区热情很高，一些前沿的算法和模型都有mxnet的实现版本。

3.框架性能和可扩展性

 　　三个框架中，theano和torch都只支持单机版，mxnet支持分布式，mxnet还强调能可以在多种设备上使用。从这个角度来看，theano和torch更适合于研究来使用，而mxnet是有可能和google的tensorflow一样应用到实际的生产环境中去的。

  

　　左右两张图分别比较了mxnet与torch和torch与theano的运行速度，虽然这只是在特点例子下的比较，但还是可以清楚的看到，torch和mxnet结合gpu加速计算的能力高于theano。

　　以上就是我对这三个框架的一些比较，纯属个人愚见，每个框架都有自己的好处和不足，真正使用哪个框架完全取决于个人的情况，希望我这点比较能提供一点帮助。