专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速

Posted 新智元

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速相关的知识,希望对你有一定的参考价值。

1新智元原创   

新智元启动新一轮大招聘:COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 

简历投递:jobs@aiera.com.cn

HR 微信:13552313024

新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。

加盟新智元,与人工智能业界领袖携手改变世界。


【新智元导读】  PyTorch今天发布,这是一个支持强大的 GPU 加速的张量计算(类似numpy),构建基于 tape 的 autograd 系统的深度神经网络的深度学习研究平台。这是numpy 的替代,以使用 GPU 的能力,能够提供最大的灵活性和速度。田渊栋在接受专访时表示,新的平台不像以前 torch 需要clone_many_times。另外从 numpy ndarray 可以转到torch.Tensor,不需要copy。






专访Facebook研究员田渊栋和PyTorch作者Soumith


新智元 :田博士,关于PyTorch的发布,请问可以采访您几个问题嘛?

田渊栋 :哦,你要问什么?我可以把问题转给Soumith。


新智元 :请问 PyTorch 除了是基于 Python,其它架构是否与 Torch 一样?

田渊栋 :基本C/C++这边都是用的torch原来的函数,但在架构上加了 autograd 这样就不用写backward 函数,可以自动动态生成computational graph 并且自动求导,反向传递后自动回收内存,这个让写程序变得更方便了。另一个重要的不同是权值(weights)和activation/gradInput分开了,这样同一个layer 可以复用很多次,存储的时候也不用 clear gradient,不像以前 torch 需要clone_many_times。另外从 numpy ndarray 可以转到torch.Tensor,不需要copy。


Lua这边一直有每个 thread 2G的限制,这个对写多线程的程序不是很有利。Python有GIL,所以一般用 multiprocessing 写程序,PyTorch针对这个有比较好的支持,比如支持进程间共享内存(这个对parameter server有利),支持shared Cuda context,等等。


我自己已经在用了,写了一个增强学习的框架,效果还是不错的。


新智元 :tensorflow也支持 python,请问这两种有什么区别呢?

Pytorch作者Soumith:像TensorFlow, Theano,Caffe以及CNTK都是静态的计算图结构。而PyTorch这边是动态地生成计算图结构(Computational Graph)的,所以可以在训练时动态改变图的拓扑,而不用改代码重新开始。


新智元:对GAN 和 深度强化学习支持怎么样?

田渊栋 :自带的tutorial里面已经有GAN的样本了,RL的框架我在写,在一些例子上已经达到了目前的最好水平。


新智元:您指的一些例子是什么类型的例子呢?


比如说OpenAI Gym Atari game Breakout-v0。


HN评论:深度学习库生态没有停滞


几个月前人们还说,深度学习库生态系统开始稳定。我从来不这么认为。深度学习库的最新前沿是确保对动态计算图的有效支持。


当需要完成的工作量是可变的时,动态计算图形出现。这可能是在我们处理文本时,一个例子是几个字,而另一个是文本的段落,或者当我们对可变大小的树结构执行操作时。这个问题在某些的领域尤其突出,例如自然语言处理。


PyTorch 很好地解决了这个问题,如 Chainer 和 DyNet。事实上,Pytorch 的构建直接从 Chainer 获得,尽管重构了并且设计得更快了。我已经看到所有这些在最近几个月,特别是在许多研究人员进行领域的前沿研究重新产生兴趣。当你使用新的架构时,你希望在框架允许范围内,获得最大的灵活性。


另一面,TensorFlow 不能很好地处理这些动态图问题。虽然有一些原始的动态结构,但它们不灵活,通常相当有限。在不久的将来,有计划允许 TensorFlow 变得更加动态,但添加它是一个挑战,特别是还要有效地做。


披露:我的Salesforce Research团队广泛使用Chainer,我的同事James Bradbury是PyTorch的贡献者,而它处于隐身模式。我们计划从Chainer过渡到PyTorch,以便将来的工作。


PyTorch 官网介绍


PyTorch 是一个 python 包,提供以下两个高级功能:


强大的 GPU 加速的张量计算(类似numpy)

构建基于 tape 的 autograd 系统的深度神经网络


在需要时,你可以再使用你喜欢的其他 python 包来扩展 PyTorch,例如 numpy,scipy 和Cython。


在粒度级别上,PyTorch 是一个由以下部分组成的库:


专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速


通常可以把 PyTorch 作为:


numpy 的替代,以使用 GPU 的能力;

一个深度学习研究平台,能够提供最大的灵活性和速度。


以下是更详细介绍:


一个支持 GPU 的 Tensor 库


如果你使用 numpy,那么你已经在使用 Tensors(也就是 ndarray)。



专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速



PyTorch 提供的 Tensors 支持 CPU 或 GPU,并为大量的计算提供加速。


我们提供多样的 tensor 程序以加速并适应用户的科学计算需要,如 slicing, 索引, 数学运算,线性代数,缩减。而且,速度非常快!


动态神经网络:基于 tape 的 Autograd


PyTorch 具有独特的构建神经网络的方法:使用并重放 tape recorder。


大多数框架,如 TensorFlow,Theano,Caffe 和 CNTK 都是静态的。使用者必须构建一个神经网络,并重复使用相同的结构。更改网络表现的方式意味着必须从头开始。


PyTorch 使用一种被称为反向模式自动微分(Reverse-mode auto-differentiation)的技术,能够让用户以零延迟或开销的方式任意改变网络表现。我们的灵感来源于几个相关话题如 autograd,autograd,Chainer 等的研究论文,包括当前的和过去的论文。


虽然这种技术不是 PyTorch 独有的,但它是迄今为止最快的实现之一。在研究中使用 PyTorch,你将得到最快的速度和最好的灵活性。


专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速


以Python为先


PyTorch 不是把 Python 绑到 C++ 框架上去,而是深度集成到 Python 语言中。你可以可以就像你用 numpy / scipy / scikit-learn 之类的一样使用。你可以用 Python 本身写新的神经网络层,可以用你最喜欢的库或者包,例如 Cython 和 Numba。我们的目标是尽量不要重新造轮子。


实践经验


PyTorch 符合直觉、好理解、易用。当你执行一行代码,它马上运行,不是跟异步的。当你进入 debug 或者收到错误信息进行 stack trace,都很容易理解。stack trace point 就是你代码的地方。我们不希望你因为差劲的 stack trace 或者 不同步和模糊的运行,而花上几个小时 debug。


又快又稳


PyTorch 具有最小的框架开销。 我们集成加速库,如英特尔MKL和NVIDIA(CuDNN,NCCL),以最大化速度。 在核心,它的CPU和GPU Tensor和神经网络后端(TH,THC,THNN,THCUNN)作为独立的库用 C99 API编写。


它们是成熟的,已经测试了多年。


因此,PyTorch是相当快 - 无论你运行小或大的神经网络。


相比 Torch 或其他一些框架,PyTorch的内存使用是非常高效的。 我们为GPU编写了自定义内存分配器,以确保您的深度学习模型具有最大的内存效率。 这使你能够训练比以前更大的深度学习模型。


轻松扩展


编写新的神经网络模块,或 PyTorch的Tensor API 的使用,其设计非常直接和最小的抽象。


你可以使用torch API或你最喜欢的基于numpy的库(如SciPy)在 Python 中编写新的神经网络层。


如果你想用C / C ++编写你的图层,我们提供一个基于cffi的扩展API,它是高效的,并且有最小的样板。没有需要编写的包装代码。 你可以在这里看到一个例子:


目前使用PyTorch的公司:






新智元招聘



职位  运营总监


职位年薪:36- 50万(工资+奖金)

工作地点:北京-海淀区

所属部门:运营部

汇报对象:COO

下属人数:2人

年龄要求:25 岁 至 35 岁

性别要求:不限

工作年限:3 年以上

语  言:英语6级(海外留学背景优先)


职位描述


  1. 负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作,人工智能及机器人产业方向

  2. 擅长开拓市场,并与潜在客户建立良好的人际关系

  3. 深度了解人工智能及机器人产业及相关市场状况,随时掌握市场动态 

  4. 主动协调部门之间项目合作,组织好跨部门间的合作,具备良好的影响力

  5. 带领团队完成营业额目标,并监控管理项目状况

  6. 负责公司平台运营方面的战略计划、合作计划的制定与实施


岗位要求


  1. 大学本科以上学历,硕士优先,要求有较高英语沟通能力

  2. 3年以上商务拓展经验,有团队管理经验,熟悉商务部门整体管理工作

  3. 对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解

  4. 具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力

  5. 具备优秀的时间管理、抗压能力和多任务规划统筹执行能力

  6. 有广泛的TMT领域人脉资源、有甲方市场部工作经验优先考虑

  7. 有媒体广告部、市场部,top20公关公司市场拓展部经验者优先



以上是关于专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速的主要内容,如果未能解决你的问题,请参考以下文章

ICML 2021奖项公布!谷歌大脑摘得桂冠,田渊栋陆昱成获荣誉提名!

ICML 2021奖项公布!谷歌大脑摘得桂冠,田渊栋陆昱成获荣誉提名!

博士五年之后五年的总结-田渊栋

ICML 2021杰出论文奖“临时更换”,上海交大校友田渊栋陆昱成等获提名

重磅 | Torch7团队开源PyTorch:Python优先的深度学习框架

Torch7团队开源PyTorch:Python优先的深度学习框架