为何要用混合精度训练

混合精度训练（Mixed Precision Training）是指在神经网络训练过程中，同时使用单精度（FP32）和半精度（FP16 / BF16） 进行计算。之所以广泛使用，核心原因可以归纳为以下几点：

1. 显存占用大幅减少

• FP16 每个参数只占 2 字节，而 FP32 占 4 字节
• 模型参数、激活值、梯度都可以用半精度存储
• 通常可节省约 30%–50% 显存，从而：
• 使用更大的 batch size
• 训练更大的模型
• 在有限 GPU 上跑更大模型

2. 计算速度更快

• 现代 GPU（如 NVIDIA V100、A100、H100）有专门的 Tensor Core
• Tensor Core 对 FP16 / BF16 矩阵运算有数倍加速
• 训练吞吐量和迭代速度明显提升（常可提速 1.5–3 倍）

3. 通信开销更低（分布式训练）

• 多卡 / 多机训练时，梯度需要通信
• 半精度梯度体积减半
• 显著降低 通信带宽压力，提升扩展效率

4. 能耗更低、成本更低

• 计算更少、显存更少 → 功耗更低
• 在大规模训练中可以明显降低训练成本

5. 为什么不能“全半精度”？

如果只用 FP16，会出现问题：

• 数值范围小：容易溢出（Inf / NaN）
• 精度不足：梯度太小会被“舍入为 0”
• 训练不稳定

因此采用混合精度：

• 前向 / 激活 / 大部分计算：FP16（快、省）
• 权重副本 / 梯度累加 / 更新：FP32（稳）
• 常用技术：
• Loss Scaling
• Master Weight（FP32 权重副本）
• BF16（动态范围大，更稳定）

一句话总结

混合精度训练 = 用一半的显存、更快的速度、更低的成本，换来几乎不掉点的训练效果。
如果你愿意，我也可以：

• 讲 PyTorch / AMP 怎么用
• 对比 FP16 vs BF16
• 结合你具体模型说明是否适合混合精度