让深度学习更高效运行的两个视角，来自Momenta的PR分享

Posted 2023-03-02 Charmve

轻量级网络分析 https://charmve.github.io/computer-vision-in-action/#/3_进阶篇/chapter23-轻量级网络浅析/chapter23-轻量级网络浅析

本期主讲人王晋玮是特征点定位专家、深度学习模型加速专家、Momenta合伙人。他从优化计算量和访存量两个角度出发，提出缩短计算时间，加速完成推理任务的优化方法。

基本背景

首先提一下需要了解的背景。

第一个是Roofline Model。这个Model是指计算机上的一个应用，它占用了两类最主要的资源：算术逻辑单元的计算资源，存储器的带宽资源。这里的计算资源以FLOPS来表示；带宽资源以byte/s表示。

Roofline model是说什么呢？横轴是Operational Intensity，就是计算的密度，单位是FLOPS/byte；纵轴是performance，也就是性能，单位是FLOPS。

图中有一条折线，这个折线开始的时候是随着计算密度的增加而增加，最终会稳定在一个固定的performance上。这个意思是：当这个应用程序的计算