《自然语言处理实战入门》深度学习基础 ---- attention 注意力机制 ，Transformer 深度解析与学习材料汇总

Posted 2022-08-04 shiter

文章大纲

• 1. 注意力机制 attention
• • 注意力是一种稀缺的资源
  • 自注意力
  • 多头注意力
• 2. Transformer
• • 模型的主要结构
  • transform 内部张量数据流转
  • 注意力
  • • 计算自注意力的步骤
    • 计算自注意力的步骤【矩阵实现】
  • 位置编码（positional encoding）
  • 残差链接，标准化
  • 解码器
  • 线性变换和softmax
  • transformer 的训练过程
  • 损失函数
• 3. 预训练模型的发展
• 参考文献

---