End-to-End Multi-Task Learning with Attention(CVPR2019)

Posted 2021-03-08 zwp-28

Multi-Task Attention Network(MTAN)--包含全局特征池的共享网络、每个任务的软注意模块

优点：可以端到端训练、可以建立在任意前馈神经网络上、实现简单、参数效率高

背景：

与标准的单任务学习相比，在成功学习到共享表示的同时训练多任务有两个主要的挑战：

1）网络结构（如何共享）：

多任务学习体系结构应该同时表达任务共享和任务特定的特性。通过这种方式，网络被鼓励学习一个通用的表示(以避免过度拟合)，同时还提供了学习针对每个任务的特性的能力(以避免欠拟合)

2）损失函数(如何平衡任务):

一个多任务损失函数，它对每个任务的相对贡献进行加权，应该使所有任务的学习具有同等的重要性，而不是让更容易的任务占主导地位。手动调整损耗权值是繁琐的，最好是自动学习权值，或者设计一个对不同权值具有鲁棒性的网络。

MTAN网络结构组成：

MTAN由两个部分组成:单个共享网络和K个任务特定注意力网络。共享网络可以根据特定的任务进行设计，而每个具体子任务的网络由一组注意力模块组成，这些注意力模块与共享网络相连接。每个注意力模块对共享网络的特定层应用一个软注意掩码，以学习特定于任务的特性。因此，注意力掩码可以看作是来自共享网络的特征选择器，它以端到端的方式自动学习，而共享网络则跨所有任务学习一个紧凑的全局特性池。