因BIOS设定导致GPU无法使用问题

Posted 2021-02-15

今天新装一台配有NVIDIA Telsa M10显卡的Dell R740服务器，服务器地产系统安装的VMware ESXi 6.0U3系统，一切按正常操作，显卡驱动安装也显示正常，但后通过vCenter给虚拟机分配显卡是遇到GPU配置文件无效问题，如图所示：

使用NVIDIA-smi命令也报错

首先，为确认显卡是否存在故障，我通过客户端可以配置显卡直通并分配到VM，因此判断不是显卡问题；

显卡驱动为NVIDIA官网下载，卸载重装也都没有问题，排除驱动版本问题；分析判断感觉是Dell R740的Bios设定有问题，尝试步骤如下：
F2--进入BIOS设定

检查各项配置

默认值是56TB，（ESXi6.X最大支持16TB内存，默认值56TB，可能存在问题）修改成12TB，保存重启进入系统

再次进入vcenter分配GPU，配置方案生效，GPU正常工作

故障处理解释：
ESXi虽然是64位系统，但是内存寻址限制到44位，也就是最大支持16TB内存；官方kb：https://kb.vmware.com/s/article/2087943?lang=en_US#q=2087943
目前Dell R740 出厂BIOS默认配置56TB内存，因此导致无法正确识别到GPU，所以需要确保NVIDIA GRID GPU的PCI寻址低于44位限制，才能使GPU正常工作。