ComfyUI训练技巧：避免常见错误

ComfyUI训练避坑清单
一 环境与依赖

• 使用与插件匹配的 Python 版本（建议 ≥ 3.9），并优先在虚拟环境/独立目录中管理依赖，避免与系统包冲突。
• 训练前先执行一次“干净启动”：更新 ComfyUI 与插件，必要时重装依赖（如 requirements.txt），并清理 pip 缓存，减少因残留包导致的奇怪报错。
• 显存优化开关要尽早确定：启用 TF32 矩阵乘、cuDNN benchmark，并在采样/训练时优先使用 FP16/BF16/FP8（与模型与硬件匹配），可显著降低显存占用并提升稳定性。
• 多卡/指定卡运行训练时，显式设置 CUDA_VISIBLE_DEVICES，避免进程抢占与 OOM。

二 数据与标注

• 明确训练目标：具象类（角色/单品）建议 ≥ 20 张，泛化类（风格/场景）建议 ≥ 100 张；素材需清晰、风格一致，并统一尺寸与比例。
• 分辨率基线：SD1.5 常用 512×768，SDXL/FLUX 常用 1024×1536；过大分辨率会显著增加显存与时长开销。
• 标注策略：人物 LoRA 可用“触发词 + 简短描述”，也可用 JoyCaption 等模型生成详细描述；少量数据时建议人工微调标注，避免噪声学习。
• 目录与路径：训练集统一放在 ComfyUI/input/{dataset_name}，在训练节点中用相对路径指向图像与标注，减少迁移时的路径错误。
• 数据增强：适度开启 颜色增强、水平翻转、字幕打乱/丢失率，提升泛化；但避免过度增强导致主体特征被破坏。

三 模型与权重匹配

• 训练/推理一致性：主模型、VAE、LoRA/适配器需版本匹配（例如 SDXL ↔ SDXL VAE），否则易出现张量维度/矩阵形状不匹配报错。
• 精度一致性：若训练使用 FP8/FP16/BF16，保存与推理阶段请保持同一精度，避免精度/量化导致的数值溢出或生成异常。
• 多组件协同：涉及 ControlNet/IP-Adapter/BrushNet 等扩展时，确认其权重与主模型架构一致；BrushNet 等因条件输入层命名差异，加载/保存需做 state_dict 键名映射，否则会出现 “Missing/Unexpected key” 等错误。
• 插件与工作流：导入他人工作流前，先安装对应 custom nodes 并核对模型路径；不同版本导出的 JSON 可能不兼容，必要时回退或升级环境。

四 关键训练参数

• 步数与预算：以“图片张数 × 100”作为 max_train_steps 的起点，再按验证集效果微调；并非越多越好，过拟合会劣化泛化。
• 批量与重复：显存允许时增大 batch_size；受限时用 num_repeat 提升每张图的训练覆盖。示例：20 张图、每张重复 10–15 次，总步数约 2000–3000。
• 学习率：常用 1e-4 ~ 4e-4；小数据集或低显存环境可适当下调，配合 Adafactor 等低显存优化器。
• 网络维度：具象类 rank 32 起步，泛化类 rank 64 起步；过大易过拟合且显存占用高。
• 低显存策略：开启 split_mode、使用 train_blocks=single 可显著降低显存占用（代价是训练更慢）；必要时降低分辨率或关闭半精度以外的并行增强。

五 训练稳定性与调试

• 显存与 OOM：优先降低 分辨率/批量，减少 采样步数，并开启 TF32/cuDNN benchmark；必要时改用 FP8/BF16 或分布式/分块策略。
• 日志与断点：训练时保留完整日志与权重快照；出现异常先检查报错栈定位是数据、参数还是显存问题，再针对性回滚或缩小 batch。
• 节点与连接：训练/推理前做“节点依赖检查”与“连线验证”，确保模型、VAE、文本编码器、LoRA 与采样器连接正确，避免形状不匹配。
• 验证闭环：每个阶段用固定提示词与种子做 小样本验证，观察过拟合/欠拟合迹象，再决定是否增加步数、数据或调整 rank。