多机PyTorch训练如何同步

在多机（multi-node）PyTorch 训练中，“同步”通常涉及 分布式初始化、数据同步、梯度同步、参数同步 等。下面从常见方案 → 核心机制 → 实操要点说明。

一、主流同步方式（用什么）

✅ 1. PyTorch 原生：DistributedDataParallel（DDP）【最常用】

推荐：多机多卡训练首选

• 基于 NCCL / Gloo
• 梯度在 反向传播时自动同步
• 高效、稳定、官方支持

同步内容

• 梯度（AllReduce）
• 每个 step 自动同步

适用

• 同构集群
• GPU 训练（NCCL）
• 大规模训练

✅ 2. torch.distributed + 手动通信

用于自定义同步逻辑
常用 API：

torch.distributed.all_reduce()
torch.distributed.broadcast()
torch.distributed.barrier()

适用

• 自定义训练循环
• 参数服务器结构
• 特殊同步策略

⚠️ 3. DataParallel（DP）

❌ 不支持多机

• 仅单机多卡
• 已不推荐

二、多机同步的核心机制

1️⃣ 进程组初始化（必须）

import torch.distributed as dist
dist.init_process_group(
backend="nccl",
init_method="tcp://MASTER_IP:PORT",
rank=RANK,
world_size=WORLD_SIZE
)

参数说明：

2️⃣ 模型同步（DDP）

model = model.to(local_rank)
model = torch.nn.parallel.DistributedDataParallel(
model,
device_ids=[local_rank]
)

✅ DDP 会自动：

• 初始化参数一致
• 每步梯度 AllReduce

3️⃣ 数据同步（Sampler）

必须使用 DistributedSampler

sampler = torch.utils.data.distributed.DistributedSampler(dataset)
loader = DataLoader(dataset, sampler=sampler)

每个进程拿不同数据分片

4️⃣ 梯度同步（自动）

loss.backward()
optimizer.step()

DDP 内部：

• 各卡计算梯度
• AllReduce 平均
• 各卡更新相同参数

三、多机训练启动方式

✅ 方式 1：torchrun（推荐）

# 节点0
torchrun \
--nnodes=2 \
--node_rank=0 \
--nproc_per_node=8 \
--master_addr=192.168.1.1 \
--master_port=29500 \
train.py
# 节点1
torchrun \
--nnodes=2 \
--node_rank=1 \
--nproc_per_node=8 \
--master_addr=192.168.1.1 \
--master_port=29500 \
train.py

✅ 方式 2：MPI / Slurm

适用于 HPC 集群

srun python train.py

四、常见同步问题 & 解决

❌ 1. 卡住（hang）

原因：

• 未调用 barrier()
• 某个 rank 数据长度不一致
• 多机网络不通

✅ 解决：

dist.barrier()

❌ 2. 结果不一致

原因：

• 未用 DistributedSampler
• 随机种子不同

✅ 解决：

torch.manual_seed(42)

❌ 3. NCCL 报错

• 检查 IB / RDMA
• 设置：

export NCCL_SOCKET_IFNAME=eth0

五、同步策略对比

六、总结一句话

多机 PyTorch 训练 = torchrun + DistributedDataParallel + DistributedSampler + NCCL
如果你愿意，我可以：

• 给你一个 完整多机训练模板
• 帮你 排查当前同步卡死问题
• 对比 DDP vs FSDP / DeepSpeed