《自然语言处理实战入门》深度学习 ---- 预训练模型的使用（ALBERT）

Posted 2021-11-24 shiter

文章大纲

• 简介
• • bert 回顾
  • bert 的问题
  • ALBERT (A Lite BERT)
  • • 改进1：将embedding的参数进行了因式分解
    • 改进2：跨层的参数共享
    • 改进3：抛弃了原来的NSP任务，现在使用SOP任务。
• albert 的使用
• 参考文献

---

简介

bert 回顾

bert 两阶段 模式：预训练 + 微调

BERT 的总体预训练和微调程序。 除了输出层，在预训练和微调中都使用相同的体系结构。 相同的预训练模型参数用于初始化不同下游任务的模型。 在微调期间，所有参数都将进行微调。 [CLS]是在每个输入示例前添加的特殊符号，而[SEP]是特殊的分隔符（例如，分隔问题/答案）。