markdown INT8不造成精度损失的原因

Posted 2021-05-05

8-bit 量化本身不是一个非常激进的压缩策略，不会有严重的精度损失，在fine-tuning之后，由于量化可以带来一定防止over-fitting的作用，所以最终效果反而是有提升的

\begin{aligned} \min _{\mathbf{w}} L(\mathbf{w} ; \mathcal{D}) &=\min _{\mathbf{w}} \frac{1}{n} \sum_{i=1}^{n} \ell\left(\mathbf{w} ;\left(\mathbf{x}_{i}, \mathbf{y}_{i}\right)\right) \\ \text { s.t. } & \mathbf{w} \in \mathbb{R}^{m}, \quad\|\mathbf{w}\|_{0} \leq \kappa \end{aligned}




$\begin{aligned} \min _{\mathbf{w}} L(\mathbf{w} ; \mathcal{D}) &=\min _{\mathbf{w}} \frac{1}{n} \sum_{i=1}^{n} \ell\left(\mathbf{w} ;\left(\mathbf{x}_{i}, \mathbf{y}_{i}\right)\right) \\ \text { s.t. } & \mathbf{w} \in \mathbb{R}^{m}, \quad\|\mathbf{w}\|_{0} \leq \kappa \end{aligned}$

$$
\begin{aligned} \min _{\mathbf{w}} L(\mathbf{w} ; \mathcal{D}) &=\min _{\mathbf{w}} \frac{1}{n} \sum_{i=1}^{n} \ell\left(\mathbf{w} ;\left(\mathbf{x}_{i}, \mathbf{y}_{i}\right)\right) \\ \text { s.t. } & \mathbf{w} \in \mathbb{R}^{m}, \quad\|\mathbf{w}\|_{0} \leq \kappa \end{aligned}
$$

\begin{equation}
\begin{aligned} \min _{\mathbf{w}} L(\mathbf{w} ; \mathcal{D}) &=\min _{\mathbf{w}} \frac{1}{n} \sum_{i=1}^{n} \ell\left(\mathbf{w} ;\left(\mathbf{x}_{i}, \mathbf{y}_{i}\right)\right) \\ \text { s.t. } & \mathbf{w} \in \mathbb{R}^{m}, \quad\|\mathbf{w}\|_{0} \leq \kappa \end{aligned}
\end{equation}