多标签文本分类融合CNN-SAM与GAT的多标签文本分类模型

Posted 2022-03-21 征途黯然.

·阅读摘要：
  在本文中，作者基于CNN、Attention、GAT提出CS-GAT模型，在一些通用数据集上，表现良好。
·参考文献：
  [1] 融合CNN-SAM与GAT的多标签文本分类模型

  本篇论文写的比较好，在介绍模型的时候，条理清晰。有借鉴意义。

【注一】：个人觉得本文是标准的“模型缝合”的产出，眼下这种出论文的方式还是很香的。

[1] 参考论文信息

  论文名称：《融合CNN-SAM与GAT的多标签文本分类模型》

  发布期刊：《计算机工程与应用》

  期刊信息：CSCD扩展

[2] 模型

  模型图如下：

   文本与标签词嵌入层： 使用了glove的预训练词向量，对文本数据和标签都是使用glove来转化词向量的。

   BiLSTM层： 双向LSTM，用的很多了。

   融合局部与全局的文本特征提取层： 这里想要对BiLSTM层的输出$H$提取局部信息和全局信息。

  · 对于局部信息，采用多卷积核大小的CNN+最大Pooling来提取。

  · 对于全局信息，采用注意力机制提取。

  · 最后，把提取出来的局部信息和全局信息拼接即可。

【注二】：CNN+Pooling、Attention是比较基础的文本分类领域知识。也比较常用这些技术。

   标签图注意力层： 这是GAT模型的内容。为标签编码成图结构。

   标签文本交互层： 把全局标签信息表示与文本上下文语义信息表示做交互注意力计算。

   自适应融合层： 把标签文本交互层和融合局部与全局的文本特征提取层的输出进行融合，然后就可以分类了。

【注三】：GAT模型比较抽象，论文地址：https://arxiv.org/pdf/1710.10903.pdf