怎样适配ComfyUI模型多卡环境

在 ComfyUI 里做多卡（多 GPU）环境适配，核心目标是：
让不同模型 / 不同节点 / 不同请求跑在指定 GPU 上，避免显存冲突，提高吞吐。

下面按「可行方案 → 配置方式 → 实战建议」来说。

一、ComfyUI 原生对多卡的支持情况

✅ ComfyUI 支持多 GPU
❌ 不支持自动负载均衡（不会像训练框架那样自动分配）
ComfyUI 的 GPU 选择权在：

• 启动参数
• 节点内部 device 设置
• 自定义脚本 / 扩展

二、最常见适配方案（推荐顺序）

✅ 方案 1：按进程分卡（最稳定，生产推荐）

思路：
一个 ComfyUI 进程绑定一张卡，多个进程组成多卡集群。

启动方式（Linux）

# GPU 0
CUDA_VISIBLE_DEVICES=0 python main.py --port 8188
# GPU 1
CUDA_VISIBLE_DEVICES=1 python main.py --port 8189

前端 / 调用层

• 前端手动切换端口
• 或用 Nginx / 网关做路由
• 或用 ComfyUI-Manager + 多实例

✅ 优点

• 稳定
• 不互相抢显存
• 易水平扩展

❌ 缺点

• 不能“一张图用两张卡”

✅ 方案 2：在 Workflow 中指定 GPU（节点级）

ComfyUI 节点支持 device 参数（部分模型节点）

示例（Load Checkpoint）

model = model.to("cuda:1")

或通过自定义节点：

comfy.model_management.load_models_gpu(
[model],
force_patch_weights=False,
device="cuda:1"
)

✅ 适合：

• 不同模型固定不同卡
• 大模型 + 小模型分离

❌ 不适合：

• 自动调度
• 新手 workflow

✅ 方案 3：模型分卡（推荐进阶用法）

典型搭配：

• GPU0：SDXL Base
• GPU1：Refiner / ControlNet
• GPU2：Upscaler / VAE

在 workflow 中：

• Load Model → cuda:0
• ControlNet → cuda:1
• VAE Decode → cuda:2

⚠️ 注意：

• 跨卡张量传输有开销
• 不适合低延迟场景

✅ 方案 4：多卡并行推理（高级）

适合：

• 批量出图
• 视频生成
• 服务器级部署

方式：

• 自写 PromptExecutor
• 用 torch.nn.DataParallel（不推荐）
• 用 torch.multiprocessing

⚠️ ComfyUI 官方不太推荐 DP/AP

三、显存管理关键参数

ComfyUI 有内置显存控制：

--lowvram
--medvram
--disable-smart-memory

多卡建议：

• 每张卡单独设 vram 策略
• 不要让系统自动平衡

四、生产级多卡部署建议

推荐架构

Nginx
├── ComfyUI:8188 (GPU0)
├── ComfyUI:8189 (GPU1)
└── ComfyUI:8190 (GPU2)

调度策略

• 按模型类型路由
• 按队列长度路由
• 按用户等级路由

五、常见坑

❌ 多卡共用一个 ComfyUI 实例
→ 显存爆炸、死锁
❌ 乱用 cuda()
→ 张量不在同一设备
❌ 忽视 VAE / ControlNet 设备

→ 推理中途报错

六、如果你愿意，我可以帮你

你可以告诉我：

1. GPU 数量和型号
2. 是否单图多模型
3. 是否高并发
4. 本地 / 服务器 / 云

我可以直接给你：

• ✅ 启动脚本
• ✅ workflow 示例
• ✅ 多实例部署图
• ✅ 自动调度方案

你现在是个人玩还是做服务？