监督自监督和无监督
Posted 三つ叶
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了监督自监督和无监督相关的知识，希望对你有一定的参考价值。
Supervise learning
self supervise learning label 不需要特别雇佣人类去标记，他可以自动产生
"Self-supervised Learning "这个词，当初Yann LeCun说过，其实并不是一个老词。根据2019年4月在Facebook上的一个帖子，他说，我现在说的这个方法，他叫Self-supervised Learning。为什么不叫无监督学习呢？因为无监督学习是一个比较大的家族，里面有很多不同的方法，为了让定义更清晰，我们叫它 “自监督”，比如我们之前提到的cycle gan，也是无监督学习的一个案例，我们也不使用标注的配对数据，但是，它和Self-supervised Learning还是有点区别。在无监督学习的范畴内，有很多方法，Self-supervised Learning就是其中之一。
代表：BERT、GPT
首先你有大量的没有标注的资料,用这些没有标注的资料,你可以去训练一个模型,你必须发明一些不需要标注资料的任务,比如说做填空题,比如说预测下一个 Token
Self-supervised Learning
这个不用标注资料的学习叫做,Self-Supervised Learning,或者是也有人叫 Pre-Training,那用这些不用标注资料的任务,学完一个模型以后,它本身没有什麽用,BERT 只能做填空题,GPT 只能够把一句话补完,但是你可以把它用在其他下游的任务裡面
auto-encoder 我们虽然说他是一个 UNsupervised 的方法，但其实还是有一个 label，只不过这个 label 不需要人产生而已
auto-encoder：
cycle-GAN：
Unsupervise learning
例如对训练机器下棋这样的任务来说，我们不知道下一步到底应该落子在哪里，这样的问题可能是没有 label 的
以上是关于监督自监督和无监督的主要内容，如果未能解决你的问题，请参考以下文章