GeneFace Plus Plus显存为何不足

GeneFace++（GeneFace Plus Plus）在训练和推理时出现显存不足（CUDA out of memory），通常不是单一原因，而是多个因素叠加。下面按常见程度从高到低给你梳理原因与对应解法。

一、最常见原因

1. Batch Size 太大

GeneFace++ 包含：

• 声音编码器（HuBERT / SSL）
• 脸型 / 姿态 / 表情模型
• 渲染网络（NeRF 或 2D 渲染）

这些模块同时占用显存。
✅ 解决：

--batch_size 1
--accumulate_grad_batches 4

2. 视频分辨率过高

训练用视频如果是：

• 1080P
• 2K
• 高帧率

显存会暴涨。
✅ 建议：

• 训练分辨率 ≤ 256×256 或 512×512
• 帧率降到 25 / 30 fps

3. 使用了 NeRF 渲染（最吃显存）

GeneFace++ 的 NeRF 模式显存消耗极大：

• 每帧要采样大量射线
• 需要保存 3D 特征体

✅ 显存建议：

✅ 解决：

• 改用 2D 模式
• 减少 num_samples_per_ray

4. 音频序列过长

GeneFace++ 会把一段音频 + 对应视频一起喂入模型。
如果：

• 音频 > 10s
• 未做 clip 切分

✅ 解决：

• 切短音频（5–10s）
• 使用 --max_audio_len

二、环境与配置问题

5. PyTorch / CUDA 版本不匹配

错误版本会导致：

• 显存无法释放
• 缓存异常

✅ 推荐：

PyTorch 1.13 / 2.0
CUDA 11.7 / 11.8

6. 没有开 torch.cuda.empty_cache()

训练循环中显存碎片累积。
✅ 在代码中加：

torch.cuda.empty_cache()

7. 多卡没用对（反而更炸）

GeneFace++ 不完全支持多卡自动切分，有时：

• 所有模型都塞进 GPU 0

✅ 建议：

• 单卡训练
• 或手动 device_map

三、隐性原因（容易忽略）

8. 人脸检测 / 预处理在 GPU 上

如：

• face-alignment
• mediapipe

✅ 改为 CPU 或只跑一次缓存

9. 日志 / 可视化占显存

如：

• TensorBoard
• 保存中间 render 图

✅ 减少：

• save_img_every
• 关闭 live preview

四、快速排查清单（建议照做）

✅ 显存不足时按这个顺序改：

1. batch_size = 1
2. 分辨率 ≤ 512
3. 用 2D 模式
4. 音频 ≤ 10s
5. 关可视化
6. empty_cache

如果你愿意，可以告诉我：

• 你是训练还是推理
• 用的 NeRF 还是 2D
• 显卡型号（如 3090 / 4090 / 3060）

我可以直接给你一份最小显存配置参数。