bert 压缩优化方向的论文

Posted 2020-12-16 tfknight

bert 瘦身版本，基于知识蒸馏：

https://arxiv.org/abs/1909.10351

 

蒸馏的其他用法

因为蒸馏只是一种将知识提取注入的技巧，所以它不光可以用来给模型减肥。也可以让模型大小保持不变，但通过从集成模型蒸馏，或者其他一些蒸馏技巧加强单一模型的表现。可以参考下面两个论文：

论文：Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Understanding

论文：BAM! Born-Again Multi-Task Networks for Natural Language Understanding

 

用动态轻量卷积替代self-attention的工作

在NMT达到同样质量的前提下 提升了训练速度，长句子下 由原来的长度平方复杂度，降低到了长度线性复杂度，应该是ICLR 2019上的

https://openreview.net/pdf?id=SkVhlh09tX

 

用超低精度压缩 BERT，量化

提出 group-wise quantization 加上基于二次阶Hessian信息的混合方法：

论文：Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT

 

优化方式汇总论文：