基于深度学习的自然语言处理—前预训练时代的自监督学习
Posted 鱼米粒
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于深度学习的自然语言处理—前预训练时代的自监督学习相关的知识，希望对你有一定的参考价值。
一、神经网络
二、自监督 词表示 学习：建模语言，使其能输入到神经网络中
one-hot：高维稀疏，不需要学习
embedding：低维稠密，需要去学习参数 —> 学习方法：词向量模型Word2Vec
三、句子编码神经网络
四、自回归、自编码预训练学习
以上是关于基于深度学习的自然语言处理—前预训练时代的自监督学习的主要内容，如果未能解决你的问题，请参考以下文章
自监督学习之掩码自动编码器(Masked Autoencoders, MAE)——音频识别方面