论文笔记DOREFA-NET

Posted 2022-12-01 帅气的小王子

论文：《DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS》 Face++出品

ABSTRACT

论文提出了一种新的网络结构DOREFA-NET，该网络实现了一种多值网络模型，与之前的二值网络、多值网络不同的是，它实现了梯度的量化，而且取得了较好的结果。

contributions

论文的贡献包括如下四点：

1.论文设计了一种DOREFA-NET，可以使得权重、激活和梯度都量化，这使得训练流程得以加速。

2.论文给出了在异构设备上加速多值网络的技巧。

3.论文指出，梯度所需的比特数多于激活，激活所需的比特数多于权重。

4.论文开源了一个AlexNet的DOREFA-NET实现。

 

EXPERIMENT RESULTS

 

这篇论文没有仔细看，因为觉得作者的方向不太对，有点跑偏了，其实论文的核心是对训练流程进行加速，最大的改进点是对梯度也做了量化，但是这对于预测流程没有丝毫的益处，反而会降低精度，从上面的结果也可以看到，其精度要比XNOR-NET低，但从使用上来说，二者的内存占用和效率几乎无差别。那么也就背离了模型量化的初衷，在尽可能小的损失精度的情况下最大化压缩和加速模型，因此即便论文证明了其可以实现梯度量化，但是在我看来做的都是无用功而已，但是其研究成果不可否定，当然以上都是我个人看法。