论文泛读127SSMix：用于文本分类的基于显着性的跨度混合

Posted 2021-06-28 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《SSMix: Saliency-Based Span Mixup for Text Classification》

一、摘要

混合数据增强已被证明对各种计算机视觉任务都很有效。尽管取得了巨大成功，但由于文本由可变长度的离散标记组成，因此将 mixup 应用于 NLP 任务仍然存在障碍。在这项工作中，我们提出了 SSMix，一种新颖的混合方法，其中操作是在输入文本上执行的，而不是像以前的方法那样对隐藏向量执行。SSMix 合成一个句子，同时通过基于跨度的混合保留两个原始文本的局部性，并保留更多与依赖显着性信息的预测相关的标记。通过大量实验，我们凭经验验证了我们的方法在广泛的文本分类基准上优于隐藏级混合方法，包括文本蕴涵、情感分类和问题类型分类。我们的代码可在：github。

二、结论

我们提出了SSMix，一种新的和简单的输入级混合文本数据的方法，提高了正则化能力，导致更好的文本分类性能。SSMix通过在跨度级别上进行替换来保留混合文本的局部性，并使用显著性评分在混合文本中保留大多数区别性标记。通过实验，我们证明了我们的方法在各种类型的文本分类任务中提高了性能。对于未来的工作，我们计划在更广泛的任务中应用SSMix，包括生成或不同的场景，如半监督学习。

三、model

一种输入级混合文本数据方法，提高正则化能力。

算法：