专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速
Posted 新智元
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速相关的知识,希望对你有一定的参考价值。
1新智元原创
新智元启动新一轮大招聘:COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。
简历投递:jobs@aiera.com.cn
HR 微信:13552313024
新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。
加盟新智元,与人工智能业界领袖携手改变世界。
【新智元导读】 PyTorch今天发布,这是一个支持强大的 GPU 加速的张量计算(类似numpy),构建基于 tape 的 autograd 系统的深度神经网络的深度学习研究平台。这是numpy 的替代,以使用 GPU 的能力,能够提供最大的灵活性和速度。田渊栋在接受专访时表示,新的平台不像以前 torch 需要clone_many_times。另外从 numpy ndarray 可以转到torch.Tensor,不需要copy。
专访Facebook研究员田渊栋和PyTorch作者Soumith
新智元 :田博士,关于PyTorch的发布,请问可以采访您几个问题嘛?
田渊栋 :哦,你要问什么?我可以把问题转给Soumith。
新智元 :请问 PyTorch 除了是基于 Python,其它架构是否与 Torch 一样?
田渊栋 :基本C/C++这边都是用的torch原来的函数,但在架构上加了 autograd 这样就不用写backward 函数,可以自动动态生成computational graph 并且自动求导,反向传递后自动回收内存,这个让写程序变得更方便了。另一个重要的不同是权值(weights)和activation/gradInput分开了,这样同一个layer 可以复用很多次,存储的时候也不用 clear gradient,不像以前 torch 需要clone_many_times。另外从 numpy ndarray 可以转到torch.Tensor,不需要copy。
Lua这边一直有每个 thread 2G的限制,这个对写多线程的程序不是很有利。Python有GIL,所以一般用 multiprocessing 写程序,PyTorch针对这个有比较好的支持,比如支持进程间共享内存(这个对parameter server有利),支持shared Cuda context,等等。
我自己已经在用了,写了一个增强学习的框架,效果还是不错的。
新智元 :tensorflow也支持 python,请问这两种有什么区别呢?
Pytorch作者Soumith:像TensorFlow, Theano,Caffe以及CNTK都是静态的计算图结构。而PyTorch这边是动态地生成计算图结构(Computational Graph)的,所以可以在训练时动态改变图的拓扑,而不用改代码重新开始。
新智元:对GAN 和 深度强化学习支持怎么样?
田渊栋 :自带的tutorial里面已经有GAN的样本了,RL的框架我在写,在一些例子上已经达到了目前的最好水平。
新智元:您指的一些例子是什么类型的例子呢?
比如说OpenAI Gym Atari game Breakout-v0。
几个月前人们还说,深度学习库生态系统开始稳定。我从来不这么认为。深度学习库的最新前沿是确保对动态计算图的有效支持。
当需要完成的工作量是可变的时,动态计算图形出现。这可能是在我们处理文本时,一个例子是几个字,而另一个是文本的段落,或者当我们对可变大小的树结构执行操作时。这个问题在某些的领域尤其突出,例如自然语言处理。
PyTorch 很好地解决了这个问题,如 Chainer 和 DyNet。事实上,Pytorch 的构建直接从 Chainer 获得,尽管重构了并且设计得更快了。我已经看到所有这些在最近几个月,特别是在许多研究人员进行领域的前沿研究重新产生兴趣。当你使用新的架构时,你希望在框架允许范围内,获得最大的灵活性。
另一面,TensorFlow 不能很好地处理这些动态图问题。虽然有一些原始的动态结构,但它们不灵活,通常相当有限。在不久的将来,有计划允许 TensorFlow 变得更加动态,但添加它是一个挑战,特别是还要有效地做。
披露:我的Salesforce Research团队广泛使用Chainer,我的同事James Bradbury是PyTorch的贡献者,而它处于隐身模式。我们计划从Chainer过渡到PyTorch,以便将来的工作。
PyTorch 是一个 python 包,提供以下两个高级功能:
强大的 GPU 加速的张量计算(类似numpy)
构建基于 tape 的 autograd 系统的深度神经网络
在需要时,你可以再使用你喜欢的其他 python 包来扩展 PyTorch,例如 numpy,scipy 和Cython。
在粒度级别上,PyTorch 是一个由以下部分组成的库:
通常可以把 PyTorch 作为:
numpy 的替代,以使用 GPU 的能力;
一个深度学习研究平台,能够提供最大的灵活性和速度。
以下是更详细介绍:
一个支持 GPU 的 Tensor 库
如果你使用 numpy,那么你已经在使用 Tensors(也就是 ndarray)。
PyTorch 提供的 Tensors 支持 CPU 或 GPU,并为大量的计算提供加速。
我们提供多样的 tensor 程序以加速并适应用户的科学计算需要,如 slicing, 索引, 数学运算,线性代数,缩减。而且,速度非常快!
PyTorch 具有独特的构建神经网络的方法:使用并重放 tape recorder。
大多数框架,如 TensorFlow,Theano,Caffe 和 CNTK 都是静态的。使用者必须构建一个神经网络,并重复使用相同的结构。更改网络表现的方式意味着必须从头开始。
PyTorch 使用一种被称为反向模式自动微分(Reverse-mode auto-differentiation)的技术,能够让用户以零延迟或开销的方式任意改变网络表现。我们的灵感来源于几个相关话题如 autograd,autograd,Chainer 等的研究论文,包括当前的和过去的论文。
虽然这种技术不是 PyTorch 独有的,但它是迄今为止最快的实现之一。在研究中使用 PyTorch,你将得到最快的速度和最好的灵活性。
PyTorch 不是把 Python 绑到 C++ 框架上去,而是深度集成到 Python 语言中。你可以可以就像你用 numpy / scipy / scikit-learn 之类的一样使用。你可以用 Python 本身写新的神经网络层,可以用你最喜欢的库或者包,例如 Cython 和 Numba。我们的目标是尽量不要重新造轮子。
实践经验
PyTorch 符合直觉、好理解、易用。当你执行一行代码,它马上运行,不是跟异步的。当你进入 debug 或者收到错误信息进行 stack trace,都很容易理解。stack trace point 就是你代码的地方。我们不希望你因为差劲的 stack trace 或者 不同步和模糊的运行,而花上几个小时 debug。
又快又稳
PyTorch 具有最小的框架开销。 我们集成加速库,如英特尔MKL和NVIDIA(CuDNN,NCCL),以最大化速度。 在核心,它的CPU和GPU Tensor和神经网络后端(TH,THC,THNN,THCUNN)作为独立的库用 C99 API编写。
它们是成熟的,已经测试了多年。
因此,PyTorch是相当快 - 无论你运行小或大的神经网络。
相比 Torch 或其他一些框架,PyTorch的内存使用是非常高效的。 我们为GPU编写了自定义内存分配器,以确保您的深度学习模型具有最大的内存效率。 这使你能够训练比以前更大的深度学习模型。
轻松扩展
编写新的神经网络模块,或 PyTorch的Tensor API 的使用,其设计非常直接和最小的抽象。
你可以使用torch API或你最喜欢的基于numpy的库(如SciPy)在 Python 中编写新的神经网络层。
如果你想用C / C ++编写你的图层,我们提供一个基于cffi的扩展API,它是高效的,并且有最小的样板。没有需要编写的包装代码。 你可以在这里看到一个例子:
目前使用PyTorch的公司:
新智元招聘
职位 运营总监
职位年薪:36- 50万(工资+奖金)
工作地点:北京-海淀区
所属部门:运营部
汇报对象:COO
下属人数:2人
年龄要求:25 岁 至 35 岁
性别要求:不限
工作年限:3 年以上
语 言:英语6级(海外留学背景优先)
职位描述
负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作,人工智能及机器人产业方向
擅长开拓市场,并与潜在客户建立良好的人际关系
深度了解人工智能及机器人产业及相关市场状况,随时掌握市场动态
主动协调部门之间项目合作,组织好跨部门间的合作,具备良好的影响力
带领团队完成营业额目标,并监控管理项目状况
负责公司平台运营方面的战略计划、合作计划的制定与实施
岗位要求
大学本科以上学历,硕士优先,要求有较高英语沟通能力
3年以上商务拓展经验,有团队管理经验,熟悉商务部门整体管理工作
对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解
具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力
具备优秀的时间管理、抗压能力和多任务规划统筹执行能力
有广泛的TMT领域人脉资源、有甲方市场部工作经验优先考虑
有媒体广告部、市场部,top20公关公司市场拓展部经验者优先
以上是关于专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速的主要内容,如果未能解决你的问题,请参考以下文章
ICML 2021奖项公布!谷歌大脑摘得桂冠,田渊栋陆昱成获荣誉提名!
ICML 2021奖项公布!谷歌大脑摘得桂冠,田渊栋陆昱成获荣誉提名!
ICML 2021杰出论文奖“临时更换”,上海交大校友田渊栋陆昱成等获提名