PyTorch性能优化的学习笔记
Posted songyuc
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PyTorch性能优化的学习笔记相关的知识，希望对你有一定的参考价值。
1 学习DALI的优化方法：nvidia.dali.plugin.pytorch
2 使用amp进行GPU运算优化（不开启）
关于torch.amp的学习笔记，请参考博文《使用amp进行GPU运算优化的学习笔记》
这里我们选择不开启amp，因为目前torch.cuda.amp十分不稳定，容易出现nan。
3 使用amp和GradientAccumulation联合优化（不开启）
9.4 使用Colossal-AI进行显存优化
Colossal-AI repo: hpcaitech/ColossalAI
Colossal-AI具有下面的优点：
- 加快训练速度
- 提高显存利用率
目前其效果正在进行测试中，请参考《使用Colossal-AI进行优化的测试笔记》
9.5 使用composer进行算子优化（无效）
composer的官方repo: mosaicml/composer
请参考《使用composer进行算子优化的测试笔记》
以上是关于PyTorch性能优化的学习笔记的主要内容，如果未能解决你的问题，请参考以下文章