PyTorch性能优化的学习笔记

Posted songyuc

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PyTorch性能优化的学习笔记相关的知识,希望对你有一定的参考价值。

1 学习DALI的优化方法:nvidia.dali.plugin.pytorch

2 使用amp进行GPU运算优化(不开启)

关于torch.amp的学习笔记,请参考博文《使用amp进行GPU运算优化的学习笔记》
这里我们选择不开启amp,因为目前torch.cuda.amp十分不稳定,容易出现nan。

3 使用amp和GradientAccumulation联合优化(不开启)

请参考博文《使用amp进行GPU运算优化的学习笔记》

9.4 使用Colossal-AI进行显存优化

Colossal-AI repo: hpcaitech/ColossalAI
Colossal-AI具有下面的优点:

  1. 加快训练速度
  2. 提高显存利用率

目前其效果正在进行测试中,请参考《使用Colossal-AI进行优化的测试笔记》

9.5 使用composer进行算子优化(无效)

composer的官方repo: mosaicml/composer
请参考《使用composer进行算子优化的测试笔记》

以上是关于PyTorch性能优化的学习笔记的主要内容,如果未能解决你的问题,请参考以下文章

Pytorch模型训练实用教程学习笔记:四优化器与学习率调整

pytorch学习笔记

Pytorch学习笔记3.深度学习基础

《深度学习笔记》——Pytorch调整学习率

PyTorch学习笔记 8. 实现线性回归模型

PyTorch学习笔记 8. 实现线性回归模型