ComfyUI训练方法：快速入门指南

ComfyUI训练方法快速入门指南
一 训练路线与硬件建议

• 训练目标优先选择LoRA：成本低、即插即用、易迭代。常见路线有：
• SDXL LoRA：通用度高，素材建议分辨率1024×1536，适合写实/插画/产品等多场景。
• FLUX.1 LoRA：细节与一致性更强，适合写实人像、品牌风格统一；本地可用ComfyUI-FluxTrainer工作流一键训练，支持fp8等模型，显存16GB可跑，低显存可开启split_mode与train_blocks=single降低占用。
• 视频LoRA（HunyuanVideo）：用于统一视频风格/主体一致性，建议显存≥16GB，训练前需对视频抽帧并缓存潜空间与文本特征。
• 若需更强中文理解与可控性，可考虑Z-Image-Base + LoRA（6B基础模型，原生中文友好，LoRA rank常用r=8）。

二 数据集与标注规范

• 数据质量优先：清晰、主体明确、风格一致；尽量覆盖不同角度、光照、服装/场景。
• 分辨率与比例：
• SDXL/Flux：推荐1024×1536（或1:1的1024×1024）；尺寸需为32的倍数，便于VAE与UNet下采样。
• 小显存/快速迭代：可降采样到512像素训练，推理时再放大。
• 样本数量经验值：
• 人物/具象类：约10–30张即可起步；风格/泛化类：建议≥100张。
• 标注方式（三选一或混合）：
• 简单标注：设定触发词 + 关键特征（如：satomiishihara, a woman.）。
• 自动标注：用WD标签器批量生成，再人工微调。
• 复杂描述：用Joy Caption节点生成自然语言描述，再按需编辑。
• 目录结构：每张图对应同名.txt标注；数据集文件夹命名可带重复次数（如15_shengdanjie表示每张训练15次）。

三 本地训练流程 ComfyUI Flux LoRA示例

• 步骤1 安装与启动
• 在ComfyUI Manager搜索并安装ComfyUI-FluxTrainer，重启后在示例目录打开训练工作流。
• 步骤2 数据集与触发词
• 在训练工作流的“图像设置”填入数据集路径与触发词；显存16GB建议用512px训练，更高分辨率需相应降低批量或开启优化。
• 步骤3 模型与精度
• 选择FLUX.1底模与fp8权重（若选fp8，保存时也选fp8），保持训练/推理精度一致以减少偏色与伪影。
• 步骤4 关键训练参数（常用起步值）
• 优化器：Adafactor（低显存更稳）。
• 学习率：默认1e-4；更稳可用4e-4视数据调优。
• 总步数：经验值≈图片数 × 100（如20张→2000步），并非越多越好。
• 保存精度：fp8优先（显存友好）。
• 步骤5 低显存优化
• 开启split_mode=true，并在额外参数加入train_blocks=single，显存可降至约8GB，代价是训练时间约增至3倍。
• 步骤6 验证与排错
• 显存紧张时先屏蔽Flux Train Validate节点，避免爆显存中断；训练完成后在ComfyUI加载底模与.safetensors LoRA测试。

四 推理与效果验证工作流

• 基本流程：Checkpoint加载器 → LoRA加载器（权重建议0.6–0.8起步）→ CLIP文本编码器 → K采样器 → VAE解码。
• 参数建议：
• SD1.5/SDXL：CFG常见7–12，采样步数20–30；图生图降噪强度0.4–0.75控制改写幅度。
• SD 3.5 Medium：CFG3–4、分辨率1024×1024效果更稳定，适合作为对照基线。
• 多LoRA叠加：用LoRA Stacker控制多风格权重与融合强度，便于快速AB测试。
• 质量增强：人脸可用GFPGAN/ADetailer做局部修复；需要高清输出时走Latent放大 → 细节修复的两阶段流程。

五 常见问题与优化要点

• 显存不足
• 降低分辨率（如512px）、开启split_mode与train_blocks=single、减小批量；必要时先关闭验证节点。
• 训练发散/过拟合
• 减少总步数或学习率，增加数据多样性；适当加入颜色/翻转增强与字幕丢失率，提升泛化。
• 出图灰蒙/偏色
• 训练与推理的精度/模型格式保持一致（如都用fp8）；必要时提高采样步数与CFG（SD1.5/SDXL）。
• 素材与标注
• 统一分辨率与比例；人物至少10–30张，风格/泛化类≥100张；标注从“触发词+特征”起步，逐步尝试自动/复杂描述。