ComfyUI训练技巧：优化模型表现

ComfyUI训练技巧与参数要点
一 数据与标注

• 优先保证数据质量与多样性：选择清晰、无噪点、主体明确的图片，覆盖不同角度、光照、服装/场景；同一主体建议准备10–30张以兼顾风格与泛化。分辨率建议1024×1024或以上，训练时可下采样到512×512以节省算力。人物类训练可使用简短触发词（如“sks”）或简洁描述，复杂场景可用Joy Caption等模型生成详尽描述，再按需编辑。数据增强可用颜色增强、水平翻转、随机丢弃字幕等策略提升鲁棒性。多数据集训练时，可用多个数据集节点分别指定路径与class_tokens，便于类别可控生成。

二 关键超参数与优化器

• 学习率与步数：常用起始学习率为1e-4或4e-4；总步数可用经验公式图片张数 × 100作为起点，再按验证集效果微调。学习率过大易震荡不收敛，过小收敛慢。建议启用学习率预热与余弦/阶梯衰减以稳定中后期训练。U‑Net 与文本编码器可设置不同学习率（文本侧更低）以抑制过拟合。
• 正则与容量控制：合理设置Network Rank（秩）与Network Alpha，遵循Alpha ≈ Rank的经验以平衡容量与过拟合；必要时加入权重衰减与梯度裁剪。
• 优化器选择：显存≤16GB时优先Adafactor（低显存友好）；通用场景常用AdamW或社区经验中的Adamw8bi；部分任务可尝试Lion。不同优化器对学习率敏感度不同，更换后应重新做小步长网格搜索。
• 精度与效率：优先FP16/BF16 混合精度；在部分插件/硬件上可用FP8以进一步降低显存占用（需保证模型与保存格式一致）。启用FlashAttention/xFormers可加速注意力并降显存，训练/推理均受益。

三 资源与稳定性优化

• 显存优化：降低Batch Size、使用split_mode、必要时设置train_blocks=single；分辨率从1024降至512可显著减负；开启TF32与cuDNN benchmark有助于吞吐。多 GPU 环境可设置CUDA_VISIBLE_DEVICES指定设备。
• 环境与依赖：训练/推理前确保PyTorch、torchvision、transformers、diffusers等依赖匹配且版本一致；遇到“爆显存/采样器错误”时，优先检查依赖、降低分辨率与批量、切换采样器，并查看完整日志定位问题。

四 训练监控与评估

• 观察Loss 曲线：训练应呈现稳定下降趋势；若Loss 不降反升或剧烈震荡，常见原因为学习率过高、正则不足或数据异常。结合验证集/样本图进行主观评估，关注主体一致性、细节保真、风格贴合与文字-图像对齐。
• 快速验证流程：固定seed与提示词，对比不同步数/学习率/正则组合；逐步增加复杂度（从单主体到多主体、从简单背景到复杂场景），避免一次性引入过多变量。

五 场景化建议与起步配置

• 人物 LoRA（约10–30张、分辨率1024×1024）：触发词 + 简洁描述或 Joy Caption 生成描述；学习率1e-4–4e-4；总步数≈N×100；Rank 与 Alpha 先从32/32或64/64试起；显存≤16GB用Adafactor + split_mode + train_blocks=single；优先FP16/BF16，可用FP8搭配对应保存格式。
• 多类别/多数据集：为每个数据集配置独立的TrainDatasetAdd节点与class_tokens，统一训练以提升跨类别泛化；按需开启颜色增强、翻转、字幕丢弃等增强策略。