PyTorch 合辑 | 国庆特辑

Posted 2021-05-02 AI开发者

国庆节来了，社长我也休息一下。

借此机会，把我们之前发过的内容做一次总结，也方便大家查阅~

今天带来的是 PyTorch 合辑。

PyTorch是今年年初时发布的可使用Python语言的Torch框架（原框架的语言为Lua），一经发布即获得热捧，很多比赛的冠军都是用的这个框架。

每篇文章之间的联系不强，大家可以根据摘要选择文章去读。

大家可以把本文收藏下来，这样方便回过头来向各个章节跳转。

  

2017 年初，Facebook 在机器学习和科学计算工具 Torch 的基础上，针对 Python 语言发布了一个全新的机器学习工具包 PyTorch。一经发布，这款开源工具包就受到了业界的广泛关注和讨论，经过几个月的发展，目前 PyTorch 已经成为从业者最重要的研发工具之一。PyTorch 为什么如此受欢迎，研究人员是出于怎样的考虑选择了 PyTorch？针对这些问题，我们今天不妨来看看专业人士怎么说。

  

最近使用 PyTorch 感觉妙不可言，有种当初使用 Keras 的快感，而且速度还不慢。各种设计直接简洁，方便研究，比 tensorflow 的臃肿好多了。今天让我们来谈谈 PyTorch 的预训练，主要是自己写代码的经验以及论坛 PyTorch Forums 上的一些回答的总结整理。

  

从 Siri 到谷歌翻译，深度神经网络大步推动了机器对自然语言的理解。

迄今为止，大多数模型把语言看作是字词的平面序列（flat sequence），使用时间递归神经网络（recurrent neural network）来处理。但语言学家认为，这并不是看待语言的最佳方式，应把其理解为由短语组成的的分层树状结构（ hierarchical tree of phrases）。由于对该类结构的支持，大量深度学习研究投入到结构递归神经网络（recursive neural network）之中。在业内，这些模型有非常难以执行、运行起来效率低下的名声。

但对于今年 Facebook 开源的新深度学习框架 PyTorch ，业内人士人认为它的一大贡献是：搭建结构递归神经网络以及其它复杂自然语言处理模型，变得更简便。

结构递归神经网络，是展示 PyTorch 灵活性的一个不错的例子。但同时，PyTorch 是一个对于各类深度学习任务有完备功能的框架，虽然特别适于计算机视觉问题。它诞生于 Facebook AI 研究院 FAIR 的研究人员之手，PyTorch 把 Torch7 中高效、灵活的 GPU 加速后端算法库，和直觉性的 Python 前端结合到一起，并具有快速创建原型机的能力、高度可读性的代码、以及对于各类深度学习模型的支持。

  

谷歌研究人员从 SPINN + 增强学习报告的结果，比在 SNLI 获得的原始 SPINN 要好一点，虽然它的增强学习版并没有预计算语法树。深度增强学习在 NLP 的应用是一个全新的领域，其中的研究问题十分广泛。通过把增强学习整合到框架里，PyTorch 极大降低了使用门槛。

  

七月，酷暑难耐，认识的几位同学参加知乎看山杯，均取得不错的排名。当时天池 AI 医疗大赛初赛结束，官方正在为复赛进行平台调试，复赛时间一拖再拖。看着几位同学在比赛中排名都还很不错，于是决定抽空试一试。结果一发不可收拾，又找了两个同学一起组队（队伍 init）以至于整个暑假都投入到这个比赛之中，并最终以一定的优势夺得第一名（参见最终排名 ）。

  

 Kaggle 是全世界首屈一指的数据科学、机器学习开发者社区和竞赛平台。日前，中山大学 CIS 实验室的研二学生刘思聪为我们带来了一场精彩的分享。他所在的队伍在 Kaggle 上的亚马逊比赛中获得了金牌，他为我们详述了比赛过程中所获得的经验以及图像比赛中的一些通用套路。

  

本文作者为前谷歌高级工程师、AI 初创公司 Wavefront 创始人兼 CTO Dev Nag，介绍了他是如何用不到五十行代码，在 PyTorch 平台上完成对 GAN 的训练。AI 研习社编译整理。

  

Siraj Raval 作为深度学习领域的自媒体人在欧美可以说是无人不知、无人不晓。

凭借在 Youtube 上的指导视频，Siraj Raval  在全世界吸粉无数，堪称是机器学习界的网红。说他是全球范围内影响力最大的 ML 自媒体人，怕也无异议。

因此，AI 研习社联系到了 Siraj 本人，并获得授权将他最精华的 Youtube 视频进行字幕汉化，免费推送给大家。我们将不定期更新，敬请关注！

今天 Siraj 跟大家讲讲 PyTorch。

视频主要介绍了 PyTorch 的两大特性以及与 Tensorflow 的比较，内容浅显易懂，有丰富的实例展示。关注今年 ICLR 的小伙伴们一定注意到了 Pytorch 崛起迅猛，如果你还在 Pytorch 与 Tensorflow 之间纠结的话，不妨看看该视频，相信一定能获得心中的答案。

新人福利

关注 AI 研习社（okweiwu），回复  1  领取

【超过 1000G 神经网络 / AI / 大数据，教程，论文】

GANs 合辑 | 国庆特辑

▼▼▼