Int8（字节）操作如何对深度学习有用？

Posted 2023-04-15

【中文标题】Int8（字节）操作如何对深度学习有用？

【英文标题】：How Int8 (byte) operations can be useful for deep learning?

【发布时间】：2016-11-29 07:14:56

【问题描述】：

Nvidia 计划在他们的新 Titan 卡中添加对 int8 操作的硬件支持，并瞄准深度学习社区。我正在尝试了解它的用途以及哪些类型的网络将从中受益，以及哪些阶段（训练/推理等）。

我知道 FP16 而不是 FP32 应该对 DL 有用，但不确定 int8 能做什么。有一些研究表明您可以使用完整的 FP32 精度进行训练，然后将其四舍五入到一个字节 - 但这不会加快或减少训练的内存占用。

他们可能根据一些论文或研究做出了这个决定（实现 int8 的硬件加速）。这些是什么？

【问题讨论】：

大部分输入图像的像素为int8

【参考方案1】：

为了减少内存占用和计算开销，一种常用的方法（尤其是移动端）是量化；然后会以整数形式发生。在此处阅读更多信息：

https://www.tensorflow.org/performance/quantization