深度学习核心技术精讲100篇（三十七）-利用Contrastive Learning对抗数据噪声：对比学习在微博场景的实践

Posted 2021-05-24 文宇肃然

前言

对比学习最近一年比较火，它的应用范围，已经从最初的图像领域，逐步拓展到了自然语言处理以及多模态等很多其它领域。本文介绍微博在自然语言处理以及多模态方面，应用对比学习的经验。

后文将要介绍的两个模型：CD-TOM和W-CLIP，CD-TOM是关于纯文本方面的对比学习模型；W-CLIP是关于<文本，图片>多模态数据方面的对比学习模型。两个模型的具体技术方案并不复杂，应该说主要受到了SimCLR和CLIP模型的启发（当然，其实CLIP模型明显也受到SimCLR模型的影响）。从后面介绍可以看出，文本类模型CD-TOM基本是图像领域里的SimCLR模型应用到文本领域做的改造，<文本，图片>类模型W-CLIP在结构上基本就是CLIP模型，只是做了一些小改动。在模型结构上，其实目前大多数对比学习系统都差不太多，很多模型差异来自于训练数据的正例、负例构造方法或损失函数定义上。我们这里提到的两个模型，和SimCLR或CLIP相比，模型结构差异不大，主要差异体现在采用的训练数据特性方面的差异。

我们知道，SimCLR是个纯自监督的任务，通过对无标注图片做不同的图像增强来构造训练数据的正例；而CLIP尽管叫做对比学习，它其实是个有监督的训练过程，它的正例来自于经过各种挖掘手段净化过的，比较干净的4亿<图片描述，图片>数据对。我们后文将要提到的两个模型采用的训练数据正例，可以理解为处于两者之间：既不像SimCLR，属于纯粹自监督的任务，也不像CLIP那样使用的是比较干净的数据对，而是以包含大量噪音的数据作为对比学习模型的训练正例。

我当时比较关心的其实是下列问题的答案：如果我们有海量的数据对<数据A,数