论文写作分析之一 《基于混合注意力Seq2seq模型的选项多标签分类》

Posted 2022-03-11 征途黯然.

[1] 参考论文信息

  论文名称：《基于混合注意力Seq2seq模型的选项多标签分类》

  发布期刊：《计算机工程与应用》

  期刊信息：CSCD扩展

  论文写作分析摘要：本文非常典型，把几个模型里的亮点抽出缝合在一起，然后放在一个从来没使用过的领域上跑。这种写法简直就是我的理想型。

[2] 参考论文分解

  这篇论文的支撑点有二：模型和新领域。

[2.1] 从模型来看

  先看一下论文给出的模型：

  模型使用到的点有：

  1、混合注意力机制+Seq2Seq模型(Hybrid Attention of Seq2seq Model)
  2、多头自注意力机制(Multi-Head self-Attention)
  3、标签嵌入(Label-Embedding)
  4、掩码模块(Masked Softmax)

  开始分析：

  本文模型是另外三篇论文的融合，分别是：

  1、《SGM: Sequence Generation Model for Multi-Label Classification》提出的模型和本文提出的模型不能说相差不大，只能说一模一样。本文是在SGM模型的基础上改动的。

  2、SGM是注意力机制，本文是混合注意力机制+多头自注意力机制，混合注意力机制来自《Semantic-Unit-Based Dilated Convolution for Multi-Label Text Classification》，多头自注意力机制来自《Attention is All You Need》。

  3、SGM是全局嵌入，本文是标签嵌入。

  除此之外，SGM来提出了用波束搜索算法找出预测路径，本文没有说。

【注】：
《SGM: Sequence Generation Model for Multi-Label Classification》博客地址：这里！！！
《Semantic-Unit-Based Dilated Convolution for Multi-Label Text Classification》博客地址：这里！！！
《Attention is All You Need》博客地址：这里！！！

  最后，看一下SGM模型图：

[2.2] 从应用领域来看

  我们普通使用的是，新闻文本多标签分类、论文摘要文本多标签分类。

  开始分析：

  本文是对高考语文试卷的阅读理解的答案拿出来，每个选项当作一个文本，一共有5个标签：写作技巧类、思想情感类、词句理解类、分析综合类、因果推理类。

  脱去外壳它就是个普普通通的多标签文本分类，但是文中提到的名词有：选项多标签分类 。总得来说就是讲故事的能力要很不错。

[3] 总结

  如果实在写不出来论文，不妨试试缝合模型+找个新领域。