为何GPU调度总失败

GPU 调度失败是一个在深度学习、高性能计算（HPC）以及云计算环境中非常常见的问题。原因通常是资源竞争、配置错误或软件环境不兼容。

为了帮你快速定位问题，我把 GPU 调度失败的原因分为 五大类，并附上了排查方法和解决办法。

一、资源不足（最常见）

1. GPU 显存被占满

表现：

• 报错：Out of Memory (OOM)、CUDA out of memory
• 任务卡住，无法分配 GPU

排查：

nvidia-smi

如果 Memory-Usage 接近 100%，说明显存已被占满。
解决：

• 杀掉无关进程：

kill -9 PID

• 减小 batch size、模型规模
• 使用 torch.cuda.empty_cache()（PyTorch）
• 使用多卡或更大显存 GPU

2. GPU 数量不足 / 被独占

表现：

• Kubernetes / Slurm 报错：Insufficient nvidia.com/gpu
• 明明有 GPU 却无法调度

原因：

• GPU 被其他任务独占（尤其 TimeSlicing 未开启）
• GPU 被预留资源（如 limits: 设错）

解决：

• 检查 GPU 分配策略
• Kubernetes：

kubectl describe node

• Slurm：

sinfo -o "%n %G"
squeue

二、调度器配置问题（K8s / Slurm）

3. GPU 调度插件未启用

Kubernetes 常见问题：

• 没装 nvidia-device-plugin
• 节点未识别 GPU

检查：

kubectl get nodes -o wide
kubectl describe node | grep nvidia

解决：

• 安装或重启插件：

kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/main/nvidia-device-plugin.yml

4. 资源请求写法错误

错误示例：

resources:
limits:
gpu: 1   # ❌ 错误

正确写法：

resources:
limits:
nvidia.com/gpu: 1

三、驱动 / CUDA / 框架不兼容

5. NVIDIA 驱动版本不匹配

表现：

• CUDA driver version is insufficient
• GPU 存在但无法运行

排查：

nvidia-smi

解决：

• 升级驱动（推荐 525+）
• 确保 CUDA 版本 ≤ 驱动支持版本

6. CUDA 与深度学习框架不兼容

解决：

• 使用官方 Docker 镜像
• 核对版本对应表

四、容器 / 环境配置问题

7. 容器内无法访问 GPU

表现：

• torch.cuda.is_available() == False
• No CUDA GPUs are available

排查：

docker run --rm --gpus all nvidia/cuda:11.8-base nvidia-smi

解决：

• 安装 nvidia-container-toolkit
• Docker 启动参数加：

--gpus all

8. 多用户 / 权限问题

原因：

• 普通用户无 GPU 访问权限
• /dev/nvidia* 权限不足

解决：

sudo chmod 666 /dev/nvidia*

或加入 video / docker 组

五、任务本身的问题

9. 指定了不存在的 GPU

错误示例：

os.environ["CUDA_VISIBLE_DEVICES"] = "2"

但机器只有 0、1 号 GPU
解决：

• 动态获取可用 GPU
• 使用调度器分配，而不是硬编码

10. 多进程 / 多任务冲突

• 多个训练任务同时抢同一张 GPU
• MPS / TimeSlicing 配置错误

解决：

• 明确 GPU 绑定
• 使用调度器统一管理

快速排查清单（建议收藏）

✅ nvidia-smi 是否正常
✅ GPU 是否被占满
✅ 驱动 / CUDA / 框架版本是否匹配
✅ 调度器是否识别 GPU
✅ 容器是否能访问 GPU

✅ 资源请求是否符合规范

如果你愿意，我可以进一步帮你精准定位

你可以直接贴出以下任意信息：

• 报错日志
• nvidia-smi 输出
• Kubernetes / Slurm 配置
• 使用的框架（PyTorch / TF / JAX）

我可以一步一步帮你把问题“拆到根因”。