从零实现深度学习框架收藏

Posted 2022-01-08 愤怒的可乐

引言

本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。

要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不适用外部完备的框架前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。
本系列文章首发于微信公众号：JavaNLP

从零开始实现深度学习框架，可能会花费不少时间，我们需要编写不少的代码。但是一旦完成了这一项工作，看着通过我们自己的框架实现的RNN、seq2seq、BERT等技术时，一种自豪感油然而生。同时在这个过程中，我们会对其他的技术细节有深入的理解。对于我们使用、调试现有的自动求导库，如PyTorch都非常有帮助。

目录

1. 自动求导神器计算图
2. 常见运算的计算图
3. 计算图运算补充
4. 实现自己的Tensor对象
5. 实现Tensor的反向传播
6. 理解广播和常见的乘法