报错记录torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 90.00 MiB (GPU 0； 7.93 GiB to

Posted 2022-12-26 世由心生

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 90.00 MiB (GPU 0; 7.93 GiB total capacity; 758.34 MiB already allocated; 5.75 MiB free; 858.00 MiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

原因，我选的卡号选错了，

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

确认好两件事：
1、本地文件和远程文件同步好了
2、代码中有没有指定哪块GPU的操作
他这个报错很反直觉的一个地方：如果你指定了2卡，2卡显存满了，他会说0卡显存满了，你去看0发现0根本没人用，这就很容易被绕进去