编程的终结；展望2023年AI系统方向；AI的下一个阶段

Posted 2023-02-19 OneFlow深度学习框架

1. OpenAI掌门人Sam Altman：AI的下一个发展阶段

各种AI工具已显现出巨大的日常应用潜力，可以实现人类的各种想法，改善人类的工作方式，比如由Stability.ai发布的开源Stable Diffusion模型，Microsoft和OpenAI联合打造的AI编程工具Copilot，OpenAI开发的语言生成模型GPT-3和图像生成平台DALL-E以及爆火的聊天机器人模型ChatGPT。

肩负着宏伟使命且极富远见的Altman就曾预言：AI即将迎来下一个发展阶段。如今，大型语言模型越来越先进，也出现了可以实现文本-图像相互转换的多模态模型，一些AI应用还可令科学家如虎添翼。在他眼中，AI是一个可以孵化出无数工具，推动各行各业前进的基础平台。

链接：

https://mp.weixin.qq.com/s/Ek5Xyj2gg-sA8ZIepx0PKA

2. 2022年最值得关注的十篇论文

年关将至，威斯康星大学助理教授 Sebastian Raschka 盘点了 2022 年他最看好的十大论文。

“2022 年 1 月，扩散模型第一次吸引了我的眼球。当时我判断到将会有某些大事发生，然而却未曾预料到几个月后会出现什么：DALLE-2、Imagen、Stable Diffusion 以及其它许多模型。对于大型语言模型来说，2022 也是非常重要的一年，最近面世的 ChatGPT 更是锦上添花，抢尽了风头。”

链接：

https://mp.weixin.qq.com/s/Atev3LfYADNiW1jhB1Jwrw

3. 人工智能300年：LSTM之父详解现代AI和深度学习发展史

最近，LSTM之父Jürgen Schmidhuber梳理了17世纪以来人工智能的历史。在这篇万字长文中，Schmidhuber为读者提供了一个大事年表，其中包括神经网络、深度学习、人工智能等领域的重要事件，以及那些为AI奠定基础的科学家们。

链接：

https://mp.weixin.qq.com/s/TfwA4x8dU_rMhC0fuE-xYw

4. 编程的终结

作者Matt Welsh相信“编写程序”的传统想法正在走向终结，事实上，除了非常专业的应用程序之外，我们所知道的大多数软件将被经过训练而不是编程的人工智能系统所取代。在需要“简单”程序的情况下（毕竟，并非所有内容都需要在GPU集群上运行数千亿个参数的模型），这些程序本身将由AI生成，而不是手动编码。

链接：

https://mp.weixin.qq.com/s/EYWR1o-CoDTBvqgIGOl5Ww

5. ChatGPT的一小步，NLP范式转变的一大步

在此前《ChatGPT进化的秘密》一文中，本文作者剖析了ChatGPT的技术路线图。而在ChatGPT发布前，作者详细介绍了大模型的突现能力、以及它在NLP/ML任务中的潜在优势，以此来探讨大模型所带来的“潜在的”范式转变。显然，后来ChatGPT所展现出的强大能力，将这种转变的步伐扎实地推进了一大步。

链接：

https://mp.weixin.qq.com/s/g_zKgURavorkvS7FoOVg3g

6. 热议：2023年AI系统方向会有哪些新的进展？

2023年，讨论新的一年AI系统方向会有哪些新的进展，包括硬件、软件，模型优化、系统优化，单设备优化、scale-out优化。

@齐俊：AI System很大程度上是由AI workload来推动向前发展的，讲一个发展方向：提高被集成的能力。

@杨军：关注了最近非常hot的ChatGPT，除了了解从模型角度这个技术所能带来的增益，以及其背后的技术渊源，也在结合自己的从业角度思考支撑这类模型技术演化以及更进一步支撑未来AI领域模型演化，会对AI系统提出哪些要求。

链接：

https://www.zhihu.com/question/576114739/answer/2826097569

7. 对比PyTorch、TensorFlow、JAX、Theano，我发现都在关注两大问题

最近，作者在处理 PyTorch 分布式和 TorchRec 相关的工作，为此，他开始学习 PyTorch 2.0。在业余时间，我也在跟着Alpa作者学习JAX和XLA。

如今回顾这些技术，他发现它们的关注点似乎都是如下两个问题：1. 包含自动求导和并行在内的函数转换，例如 vmap, pmap 和 pjit 等；2.异构计算，CPU 负责控制流，GPU/TPU 负责张量计算和集合通信。

链接：

https://mp.weixin.qq.com/s/BfgirrHFDNpTxbhCz1qqlg

8. 如何看待PyTorch 2.0（TorchDynamo）？

Graph capture把用户Python写的模型代码变成graph，是一切编译的根基。而PyTorch在试了这么多方案之后似乎已经锁定TorchDynamo作为graph capture的未来方向了，所以写一点关于 TorchDynamo 的内容，主要是解释到底为什么要做这个东西。

链接：

https://mp.weixin.qq.com/s/VM3tPbmxHVOBWDvoo2U4hQ

9. TorchDynamo初探：Python ByteCode的动态修改

本文对 Python 的执行和 TorchDynamo 的主要原理做了初探，主要是自定义 Eval Frame 的实现技巧。其它相关的 Python ByteCode 标准，ByteCode 到 FX Graph 的转换，ByteCode 的改写等内容还没涉及。

链接：

https://mp.weixin.qq.com/s/6eK9wtUU_jpuJTWfXdW6xg

10. 聊聊 PyTorch 2.0（Inductor）

年末在疫情的笼罩下，人工智能领域发布了不少新进展。最火的当然是 AIGC(ChatGPT, Diffusion Models)，不过PyTorch 2.0也赚足了眼球。

借此机会来聊聊PyTorch 2.0里面大家比较关注但是还没有足够重视的部分TorchInductor：Inductor 的进展速度不容小觑，它仅在计划发布后短短的几个月便在 huggingface, timm_models, torchbench 等诸多模型上面取得1.6~2.2倍的加速(Nv A100 GPU)。那么Inductor取得高效迭代和性能收益依靠的是什么？

链接：

https://zhuanlan.zhihu.com/p/595996564

11. 如何写一个深度学习编译器？

编译器本质上是一种提高开发效率的工具，将高级语言转换为低级语言（通常是二进制机器码），使得程序员不需要徒手写二进制。转换过程中，首要任务是保证正确性，同时需要进行优化以提升程序的运行效率。

传统意义上的编译器的输入通常是某种高级语言，输出是可执行程序。在实际工作中接触到了深度学习编译器开发，其设计思想与传统编译器非常类似，所以本文以深度学习编译器的开发、结合我们实际开发的深度学习编译器MegCC为例，来说明如何写一个编译器。

链接：

https://zhuanlan.zhihu.com/p/594619136

12. GPGPU架构，编译器和运行时

链接：

https://zhuanlan.zhihu.com/p/592975749

13. CUDA笔记（二）：解析OneFlow BatchNorm相关算子实现

在CUDA优化中常见的一个技巧是，将一些ElementWise的算子融合到之前的计算密集型算子如卷积、矩阵乘等。在OneFlow中，针对上述两种情况并且cudnn无法fuse时分别进行了fuse和优化，本篇文章就来解析一下这里的代码实现，体会其中的CUDA优化技巧。

链接：

https://mp.weixin.qq.com/s/NbSs8Rxu3-CebJpoHN_D_w

14. YOLOv5全面解析教程②：如何制作训练效果更好的数据集

本文主要介绍 One-YOLOv5 使用的数据集格式以及如何制作一个可以获得更好训练效果的数据集。

链接：

https://mp.weixin.qq.com/s/t4Ppf2qokpClRwCN52zF-g

15. 1月12日直播｜机器之心“科技年会”之AIGC技术应用论坛

作为内容生产效率工具，AIGC 将在各领域各场景催生怎样的范式变化？进入商业化阶段，图文多模态大模型的技术能力边界及未来发展可能？作为 AI 基础设施的预训练模型，及其安全可控、开源普惠……1 月 12 日，「AIGC 技术应用论坛」将深入分享 AIGC 相关技术最新进展，以及领域企业前沿实践。「AIGC 技术应用论坛」全日程已正式公布。

链接：

https://mp.weixin.qq.com/s/8d_ANUSe5CvLUb7r67lIow
 

其他人都在看

• OneFlow源码解析：静态图与运行时

• ChatGPT的一小步，NLP范式转变的一大步

• 2023年AI十大展望：GPT-4领衔大模型变革

• 李白：你的模型权重很不错，可惜被我没收了

• OpenAI掌门Sam Altman：AI下一个发展阶段

• 比快更快，开源Stable Diffusion刷新作图速度

• OneEmbedding:单卡训练TB级推荐模型不是梦

欢迎Star、试用OneFlow最新版本：https://github.com/Oneflow-Inc/oneflow/https://github.com/Oneflow-Inc/oneflow/