多标签文本分类Improved Neural Network-based Multi-label Classification with Better Initialization ……

Posted 2022-02-18 征途黯然.

·阅读摘要：
  提出了一种新的神经网络初始化方法：利用标签共现初始化最终隐藏层。
  [1] Improved Neural Network-based Multi-label Classification
with Better Initialization Leveraging Label Co-occurrence

【注一】：重要概念：
标签共现：一个文本会有多个标签，这种现象叫做标签共现。
标签共现模式：设一个多标签分类数据集有a-z共26个标签，那么a-z的任何一种大于2个标签的组合都可以成为是一个标签共现模式(pattern)，形如a,b、x,y,z等等等等。

[0] 摘要

  提出了一种新的神经网络初始化方法：把最后一层隐含层中的一些神经元作为每个标签共现模式的专用神经元。这些专用的神经元权重被初始化，以连接到相应的共现标签，这些标签具有比其他标签更强的权重。

【注二】：最后一层隐含层，是指在最后用于分类的全连接层。

[1] 介绍

  在多标签文本分类中，一个文本可以与多个标签相关联。

  提出了一种新颖的神经网络初始化方法，将最终隐藏层中的一些神经元作为每个标签共现模式的专用神经元。这些专用的神经元被初始化，以连接到相应的共发生标签，其权重比其他的更强。

  通过一个真实的文档检索系统和公开的多标签数据集的实验，论文提出的方法简单直接地将标签共现信息嵌入到一个神经网络中，提高了NLQ分类的准确性。

[2] 相关工作

  介绍了论文使用的TextCNN模型（就是Kim发布的那一篇）。

  还介绍了三种损失函数：负对数似然、交叉熵、二元交叉熵，三种损失函数的效果论文也给出：

[3] 基于TextCNN提出改进方法

[3.1] 利用标签共现初始化最后一层网络权重

  如上图，一一介绍：

   1、上图的下方 就是一个全连接层，它的输入大小假设如图有7个，它的输出大小假设如图有5个（即是5个标签）。

   2、上图的上方 是这个全连接层的参数权重表，7*5=35个参数。假设出于某种原因、方法（这是个可以研究的点）我们找了几个比较突出的标签共现模式，体现在图中就是
${\lambda }_1$、${\lambda }_4$、${\lambda }_2$、${\lambda }_4$、${\lambda }_5$。

  对于以上2个模式，我们觉得它们在某种程度上很重要，我们希望开辟一个专用通道给它们使用。所以论文提出，初始化对应的权重参数，使它们在迭代时有优势。

  具体方法是，每一个模式对应全连接层左边的一个神经元，它的模式中有哪些标签，就设置对应标签位置上初始值为$w$，其他位置为0。其他未被分配的神经元参数都是随机的。

[3.2] 专用神经元的权重设置

  介绍神经元初始值$w=UB$的求法:
$$UB=\frac{\sqrt{6}}{\sqrt{n_h+n_k}}$$
  其中$n_h$为最终隐含层的个数，$n_k$为输出层(即类)中的个数。

  另外，论文根据训练数据中标签共现模式的频率来改变这个值。其背景思想是，频繁出现的标签共现模式比不太频繁的模式更重要。假设在训练数据f次中出现了特定的标签共现模式，那么另外一种$UB$的算法为：
$$UB=\frac{\sqrt{6}}{\sqrt{n_h+n_k}}\ast f$$
$$UB=\frac{\sqrt{6}}{\sqrt{n_h+n_k}}\ast \sqrt{f}$$

  文中给出了各种初始值$w=UB$算法的效果：