论文泛读192带有退火软最近邻损失的文本分类和聚类

Posted 2021-09-05 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Text Classification and Clustering with Annealing Soft Nearest Neighbor Loss》

一、摘要

我们将解开定义为不同类的数据点彼此之间的距离，相对于类相似数据点之间的距离。在表示学习期间最大化解缠结时，我们获得了一个转换后的特征表示，其中保留了数据点的类成员资格。如果保留数据点的类成员资格，我们将拥有一个特征表示空间，其中最近邻分类器或聚类算法将表现良好。我们利用这种方法来学习更好的自然语言表示，并将其用于文本分类和文本聚类任务。通过解开，我们获得了具有更好定义集群的文本表示，并提高了文本分类性能。我们的方法的测试分类准确率高达 90。

二、结论

据我们所知，这是第一个解开用于分类和聚类的自然语言表示的工作，因为关于软最近邻损失的开创性论文集中在图像分类和图像生成任务上。我们的实验模型始终优于我们的基线模型，在文本分类上有微小的改进，在文本聚类上有显著的改进，两者都是以句子嵌入的形式。此外，我们的发现表明，当使用实际的句子嵌入时，相对于平均的单词嵌入，性能只有微小的提高。我们的目标是在更自然的语言处理任务上应用解纠结，例如语言生成、情感分析和单词嵌入分析。我们还打算使用更多的数据集来获得更强的经验结果。

三、method

• 前馈神经网络
• 卷积神经网络
• 自编码
• 软最近邻损失