大模型为何常用梯度累积

大模型训练中常用梯度累积（Gradient Accumulation），本质上是为了在有限显存下模拟更大的 batch size，同时兼顾训练稳定性和硬件成本。下面从几个角度系统说明原因。

1. 显存限制是核心原因

大模型的参数规模巨大（如 7B、13B、70B），训练时显存不仅用于：

• 模型参数
• 优化器状态（如 Adam 的动量、方差）
• 激活值（ forward / backward ）
• 梯度

如果直接用很大的 batch size：

• 激活值显存会线性增长
• 很容易 OOM（显存溢出）

梯度累积的做法：

小 batch → 前向 + 反向 → 累积梯度（不更新参数）
重复 N 次
N 次后 → 用累积梯度更新一次参数

这样：

• 单步显存占用小
• 等效 batch size = 单卡 batch × 累积步数

2. 大 batch 对训练很重要

大模型训练通常受益于较大的有效 batch size：

• 梯度估计更稳定
• 训练震荡更小
• 收敛更平滑
• 对学习率调度更友好

但硬件（尤其是单卡 / 单机）往往无法直接跑大 batch

→ 梯度累积成为“软件层面的大 batch”

3. 分布式训练中的补充手段

在以下场景中，梯度累积常与并行策略配合使用：

• 数据并行（DP / DDP）
• 张量并行（TP）
• 流水线并行（PP）

例如：

• 每张卡 batch 很小
• 多卡 + 累积 → 等效超大 batch

在 ZeRO / 张量并行 下，梯度累积几乎是标准配置。

4. 训练成本与效率的权衡

• 直接大 batch：显存不够
• 过多小 batch 更新：训练慢、不稳定
• 梯度累积：
• 几乎不增加额外计算
• 只增加少量通信/控制开销
• 性价比极高

5. 对优化器行为影响小

梯度累积等价于：

“在更新前，先对多个 mini-batch 的梯度求平均”
这与标准 SGD / Adam 的数学形式一致，因此：

• 不需要改优化器
• 不改变收敛理论

6. 典型使用方式（伪代码）

optimizer.zero_grad()
for i, (x, y) in enumerate(dataloader):
loss = model(x, y)
loss = loss / accum_steps
loss.backward()
if (i + 1) % accum_steps == 0:
optimizer.step()
optimizer.zero_grad()

总结一句话

大模型常用梯度累积，是因为它用“时间换空间”，在显存受限的情况下，稳定地实现大 batch 训练效果。
如果你愿意，我也可以从：

• 与 optimizer step 的关系
• 对学习率 / warmup 的影响
• 在工程框架（PyTorch / DeepSpeed / Megatron）中的实现差异

来进一步展开。