NLP方向 ---- 面试笔试题集：预训练模型 BERT

Posted 2022-06-28 shiter

文章大纲

• Transformer
• BERT 简介
• • • 1. AR 与 AE 语言模型
    • • 2.1.1Bert 是什么?
      • 2.1.2 Bert 有那几个关键点？
    • 2.2 Bert 输入输出表征篇
    • • 2.2.1 Bert 输入输出表征长啥样？
    • 2.3 Bert 预训练
    • • 2.3.1 Bert 预训练任务介绍
      • 2.3.2 Bert 预训练任务 之 Masked LM 篇
      • • 2.3.2.1 Bert 为什么需要预训练任务 Masked LM ？
        • 2.3.2.2 Bert 预训练任务 Masked LM 怎么做？
        • 2.3.2.3 Bert 预训练任务 Masked LM 存在问题？
        • 2.3.2.4 预训练和微调之间的不