Learning to Learn and Predict: A Meta-Learning Approach for Multi-Label Classification

Posted 2022-12-10 wangxiaocvpr

Learning to Learn and Predict: A Meta-Learning Approach for Multi-Label Classification

2019-10-01 11:29:54

 

Paper: https://arxiv.org/pdf/1909.04176.pdf 

 

1. Background and Motivation:

多标签分类问题的目标是同时进行多个 label 的识别，且这些 label 是有一定关联的；而传统的 多类别分类问题，仅仅是一个样本包含一个 label。现有的方法，从统计模型到神经网络的方法，都是共享标准的交叉熵损失函数进行训练的。在训练之后，这些模型尝试用单个预测策略来对所有的 label 进行最终的预测。实际上，这些方法都是基于如下的假设：no dependency among the labels。然而，如图1 所示，这种假设在实际情况下是很难满足的，但是 multi-label classification 的 label 依赖关系的问题却很少受到关注。

 

 

由于受到标签依赖关系的影响，这些 label 的预测难度是大不相同的。

首先，高层的 label 更加容易进行分类，如：organization，person 等；但是更加低层的 label，如 news，broadcast 等，则更加困难。

其次，对于 label 之间没有显示关系的，可能仍然存在着一些隐层的关系，这在 NLP 领域中，是相当常见的。

基于上述观察，作者考虑学习不同的训练策略 和 预测策略来进行多标签的识别。

 

对于所有 label 的训练和预测策略，可以看做是一系列的超参数。然而，想要指定显示和隐式的标签依赖，也是不显示的。为了解决上述问题，本文提出一种 meta-learning 的框架来建模这些 label dependency，然后自动的学习训练和测试策略。具体来说，作者引入一种联合 meta-learning 和 multi-label classification 的学习框架。作者用一种基于 GRU 的 meta-learner 在训练阶段来捕获 label dependencies 和 学习这些参数。

 

本文的贡献可以总结为如下几点：

1). 首次在多标签分类问题上，提出联合的 “learning to learn” 和 “learning to predict” 。

2). 本文方法可以对每一个 label 学习一个 weight 和 decision policy，并且可以用于训练和测试阶段。

3). 本文方法是一种 model-agnostic，可以结合到多种模型中，并且取得了比 baseline 方法要好很多的效果。

 

 

 

 

2. The Proposed Method：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

==