自监督学习

Posted ying-chease

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了自监督学习相关的知识,希望对你有一定的参考价值。

转自:https://zhuanlan.zhihu.com/p/108906502

1. 什么是自监督学习?

自监督学习主要是利用辅助任务(pretext)从大规模的无监督数据中挖掘自身的监督信息,通过这种构造的监督信息对网络进行训练,从而可以学习到对下游任务有价值的表征。

2. 自监督学习的主要方法

自监督学习的方法主要可以分为 3 类: a)基于上下文(Context based)、 b)基于时序(Temporal Based)、c)基于对比(Contrastive Based)。
2.1 基于上下文(Context based)


以上是关于自监督学习的主要内容,如果未能解决你的问题,请参考以下文章

机器学习笔记:自监督学习

基于半监督学习算法的文本分类(自训练)

对比自监督学习

AACL2020自监督学习的自然语言处理,68页ppt

『cs231n』无监督学习

自监督学习:自编码器