2021年CCF 基于BERT的大模型容量挑战赛 第一名方案分享

Posted 2022-03-14 herosunly

  第一名队伍为北京大学河图实习生队，下面将详细介绍该冠军团队的解决方案。

文章目录

• 1. 团队介绍
• 2. 赛题背景
• • 2.1 趋势一：深度学习模型规模日益增长
  • 2.2 趋势二：大模型训练代价难以负担，成本高居不下
• 3. 比赛任务
• 4. 解决方案
• • 4.1 模型显存分析
  • 4.2 优化1：调整计算顺序
  • 4.3 优化2：层间融合
  • 4.4 优化3∶层内内存复用( Memory-Reuse Intra Layer )
• 5. 分布式训练方案
• • 5.1 数据并行(Data Parallel)
  • 5.2 层内模型并行(Tensor Model Parallel)
  • 5.3 层间模型并行(Layer Model Parallel)
• 6. 总结