如何提升GPU利用率

提升GPU利用率的核心在于消除数据瓶颈和最大化计算并行度。简单来说，就是确保GPU时刻有数据可算，且计算量足够填满其庞大的核心。
以下是针对不同场景的系统性优化方案：

1. 数据输入流水线优化（Data Pipeline）

这是最常见的瓶颈。如果GPU在等数据，利用率就会暴跌。

• 异步加载与预取（Prefetching）：使用DataLoader的多进程加载（num_workers > 0），并开启预取，让数据在GPU计算上一波时就在CPU端准备好。
• 数据格式优化：将数据存储为TFRecord、LMDB或HDF5等二进制格式，避免大量小文件读取的I/O开销。
• 传输加速：使用固定内存（Pinned Memory）。在PyTorch中设置 pin_memory=True，能加速CPU到GPU的数据拷贝。

2. 批处理与张量操作（Batching & Tensor Ops）

• 增大Batch Size：在保证显存不溢出（OOM）的前提下，尽可能增大Batch Size。小的Batch Size会导致GPU并行计算能力无法完全发挥。
• 使用混合精度训练（AMP）：利用Tensor Cores。现代GPU（如V100, A100, 3090等）拥有专门用于FP16计算的Tensor Cores，速度远超FP32。使用AMP通常能提升20%-50%的吞吐量并节省显存。
• 避免在循环中操作张量：在训练循环中，不要进行item()或cpu()等调用，这会强制同步并打断GPU计算流。尽量使用向量化操作。

3. 模型与计算图优化

• 算子融合（Operator Fusion）：使用支持算子融合的框架（如OneFlow、Paddle，或PyTorch的torch.compile），减少Kernel Launch的开销。
• 检查点技术（Gradient Checkpointing）：如果显存不足限制了Batch Size，开启此功能可以用时间换空间，允许你使用更大的Batch Size进行计算。

4. 分布式与多卡策略

• 数据并行（DDP）：如果是多卡环境，务必使用DistributedDataParallel (DDP) 而非 DataParallel (DP)。DDP效率更高，避免了GIL锁和主卡瓶颈。
• 流水线并行：对于超大模型，将模型切分到不同卡上，通过流水线方式提高整体利用率。

5. 定位问题（如何排查）

如果利用率低，需要先通过监控工具判断原因：

• nvidia-smi：查看GPU利用率、显存占用、温度。
• Nsight Systems (nsys)：分析时间线。如果看到大量“空档期”，通常是数据加载慢；如果Kernel调用很少，可能是模型太小或代码串行。

常见瓶颈与解决方案对照表

特别提示：对于推理场景，提升利用率的关键是提升Batch Size（如通过服务端的动态Batching）以及降低内存碎片。对于训练场景，混合精度通常是投入产出比最高的优化手段。