deepspeed训练时export CUDA_VISIBLE_DEVICES无效这件事
Posted CSU迦叶
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了deepspeed训练时export CUDA_VISIBLE_DEVICES无效这件事相关的知识，希望对你有一定的参考价值。
官方文档在一个犄角旮旯的地方说了不管用(哭了，早点看到少受罪两天)
见Resource Configuration (single-node)
所以正确的做法是使用--include在.py前指定你要用的GPU
--include localhost:6,7,8,9 \\顺便多说一句，仅仅单服务器(节点)训练压根不需要hostfile
以上是关于deepspeed训练时export CUDA_VISIBLE_DEVICES无效这件事的主要内容，如果未能解决你的问题，请参考以下文章