清华大学发布基于元算子和动态编译的深度学习框架-Jittor

Posted 2021-04-19 清华-腾讯联合实验室

深度学习技术正广泛应用于人工智能的各个领域，如计算机视觉、机器翻译、自然语言处理、智能机器人等，取得了前所未有的突破。当前，一方面，随着深度学习新技术的出现、任务复杂度的提高，易于扩展同时保持高效的架构成为发展趋势；另一方面，我国人工智能产业发展迅速，急需构建自己的开源深度学习生态。

清华大学计算机系可视媒体研究中心提出了一个全新的深度学习框架——计图（Jittor）。Jittor是一个采用元算子表达神经网络计算单元、完全基于动态编译（Just-in-Time）的深度学习框架。

图1 Jittor通过元算子融合实现深度神经网络模型

深度学习采用的卷积神经网络是由算子（Operator）组成的一个计算网络。由于架构设计和不断扩充等原因，当前深度学习框架有多达2000种算子，系统复杂，优化和移植困难。

Jittor将算子运算进一步分解，形成了更加底层的三类20余种元算子闭包，目前神经网络常用算子均可以使用元算子的组合进行表达。面向未来深度学习框架的发展趋势，Jittor利用元算子组合表达的优势，提出统一计算图进行优化，并从底层开始设计了一个全新的动态编译架构。

该架构支持多种编译器，实现了所有代码的即时编译和动态运行，确保了实现和优化分离，大幅提升了应用开发灵活性、可拓展性和可移植性，与国际主流平台相比，具有多项先进特性（图2）。

图2  Jittor与其他平台的计算图特性对比

目前ResNet、VGG、SSD、DeepLab、LSGAN等多个网络模型已经在Jittor平台实现，可供用户直接使用。与同类型框架相比，Jittor在收敛精度一致情况下，推理速度取得了10%-50%的性能提升（图3）。

图3  Jittor平台实现的多个网络模型

Jittor得到国家自然科学基金项目、北京信息科学与技术国家研究中心团队项目和清华-腾讯联合实验室（成立于2010年，以下简称“联合实验室”）项目的资助和支持。

联合实验室桥接清华大学和腾讯公司在科技研发、学术交流、人才培养等方面进行深入合作，双方围绕国际学科前沿、国家重大需求和腾讯产业发展的重要技术开展紧密合作，携手共同承担国家重大科研项目、探索原创性技术成果、培养和吸收一流人才。

联合实验室在AI、社交网络、大数据和安全等领域取得了丰硕成果，获得国家科学技术进步二等奖等多项国家及省部级科技奖励，共同研发的几十项科研成果已在腾讯得到实际应用。“未来清华大学和腾讯公司将在更广的领域、更深的层面开展更紧密的合作。”

期望Jittor能为学界和业界提供一个灵活高效的深度学习平台，促进人工智能的研究和应用，赋能人工智能产业。

了解更多信息，请点击文章末尾的“阅读原文”，访问“计图（Jittor）”官网：

https://cg.cs.tsinghua.edu.cn/jittor

---

点击此处“阅读原文”，访问“计图（Jittor）”