PyTorch性能优化的学习笔记
Posted songyuc
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PyTorch性能优化的学习笔记相关的知识,希望对你有一定的参考价值。
1 学习DALI的优化方法:nvidia.dali.plugin.pytorch
2 使用amp
进行GPU运算优化(不开启)
关于torch.amp
的学习笔记,请参考博文《使用amp
进行GPU运算优化的学习笔记》
这里我们选择不开启amp
,因为目前torch.cuda.amp
十分不稳定,容易出现nan。
3 使用amp
和GradientAccumulation联合优化(不开启)
9.4 使用Colossal-AI进行显存优化
Colossal-AI repo: hpcaitech/ColossalAI
Colossal-AI具有下面的优点:
- 加快训练速度
- 提高显存利用率
目前其效果正在进行测试中,请参考《使用Colossal-AI进行优化的测试笔记》
9.5 使用composer进行算子优化(无效)
composer
的官方repo: mosaicml/composer
请参考《使用composer进行算子优化的测试笔记》
以上是关于PyTorch性能优化的学习笔记的主要内容,如果未能解决你的问题,请参考以下文章