ComfyUI模型并行计算怎么实现

在 ComfyUI 里，“模型并行计算”通常指 把大模型（如 UNET / DiT、CLIP、VAE）放到不同 GPU 上运行，或者 在多 GPU 上并行执行不同节点。ComfyUI 本身没有原生“自动模型并行”开关，但可以通过以下几种方式实现。

一、最常用方案：多 GPU + 手动设备分配（推荐）

1️⃣ 启动多个 ComfyUI 实例（不同 GPU）

这是最稳定、最常用的做法。

# GPU 0
CUDA_VISIBLE_DEVICES=0 python main.py --port 8188
# GPU 1
CUDA_VISIBLE_DEVICES=1 python main.py --port 8189

然后在工作流中：

• 一个实例加载 UNET / DiT
• 另一个加载 CLIP / VAE

通过 API 或自定义节点 把中间结果传递。
✅ 优点：稳定、兼容所有模型

❌ 缺点：需要自己拆分流程

二、使用 ComfyUI-MultiGPU 类自定义节点（进阶）

目前社区有一些实验性节点支持 模型级多 GPU：

常见方式

• 自定义 Load Checkpoint (GPU1)
• UNET to CUDA:1
• CLIP to CUDA:0

示例（伪代码）：

unet.to("cuda:1")
clip.to("cuda:0")

⚠️ 注意：

• 只适合 推理
• 不支持自动梯度
• 显存拷贝会拖慢速度

三、使用 torch.nn.DataParallel / device_map（有限支持）

HuggingFace style（部分模型可用）

from accelerate import dispatch_model
model = dispatch_model(model, device_map={
"clip": "cuda:0",
"unet": "cuda:1"
})

但 ComfyUI 默认不开放这个接口，需要改源码。

四、流水线并行（Pipeline Parallel）

适合 高吞吐批量出图：

• GPU0：CLIP + 条件
• GPU1：UNET 采样
• GPU2：VAE 解码

使用：

• ComfyUI-Manager
• 自定义 API 工作流
• 或外部调度（FastAPI + ComfyUI）

五、ComfyUI 官方未来方向（参考）

官方正在逐步支持：

• device 参数暴露到节点
• 更好的多 GPU 工作流
• 但 不会像 PyTorch 那样全自动并行

六、实用建议（重要）

✅ 如果你只是想省显存：

• 用 --lowvram
• 或 --medvram

✅ 如果你是 3090 + 4090：

• 手动拆 UNET / VAE 最稳

✅ 如果你是 训练 / LoRA：

• 不建议 ComfyUI，直接用 diffusers

七、我可以进一步帮你

你可以告诉我：

1. 你有几张 GPU？型号？
2. 用的是 SD1.5 / SDXL / Flux / Hunyuan？
3. 目标是 提速 还是 省显存？

我可以直接给你：

• 可运行启动命令
• 工作流示例
• 自定义节点推荐