如何使用ComfyUI进行数据增强

ComfyUI数据增强实操指南
一、目标与思路

• 面向两类目标进行增强：
• 生成侧的多样性增强：在不改变语义的前提下，得到同一主题的多种变体，用于训练集扩充或风格多样化。
• 标注侧的伪标签扩充：利用可控生成（如Inpainting、ControlNet、IP-Adapter）对局部区域进行改写或风格迁移，快速得到多视角、多风格的标注样本。
• 核心手段：在潜空间注入或操控噪声、在像素空间做局部重绘、用结构/风格条件约束生成，从而稳定可控地产出增强样本。

二、环境与节点准备

• 基础节点（内置）：Checkpoint加载器、VAE加载器、Lora加载器、ControlNet加载器、CLIP视觉加载器等，用于加载模型与条件资源，是搭建任何增强流程的底座。
• 插件扩展（建议安装）：
• ComfyUI_Noise：提供BNK_NoisyLatentImage、Inject Noise、BNK_Unsampler、BNK_SlerpLatent、BNK_GetSigma等节点，支持在潜空间生成噪声、注入噪声、反采样与插值，适合做噪声层面的数据增强与一致性控制。
• ComfyUI-Impact-Pack：提供SAMLoader、UltralyticsDetectorProvider、BBOX/SEGM Detector、SAMDetector等，支持自动检测与分割，便于做“按目标区域”的局部增强与伪标签生成。
• IPAdapter_plus：提供IPAdapter/Advanced/Batch、Unified Loader、FaceID等，支持以参考图进行风格/身份引导，适合风格多样化与身份保持的增强。

三、生成侧多样性增强

• 潜空间噪声扰动（强度可控）
• 工作流要点：加载模型与VAE → 编码原图为latent → 使用BNK_NoisyLatentImage或Inject Noise在潜空间注入噪声（可配合mask做局部扰动）→ KSampler去噪 → VAE Decode输出。
• 关键参数：source（CPU/GPU）、噪声强度、注入区域（全图或mask）。用于模拟成像差异、提升模型鲁棒性。
• 潜空间插值（跨样本混合）
• 工作流要点：对同一模型的两个 latent 用BNK_SlerpLatent插值（调节factor），再解码生成中间样本，得到风格/构图的平滑过渡集。
• 反采样一致性（噪声反推→再生成）
• 工作流要点：用BNK_Unsampler对原图做噪声反推得到含噪 latent → 保持相同配置去噪 → 获得与输入几乎一致的重建图，用于“同图多版本”一致性校验或作为数据增广的基线样本。

四、标注侧伪标签与局部增强

• 局部重绘（Inpainting）改写区域内容
• 工作流要点：加载支持Inpainting的模型 → 原图VAE Encode → 加载mask并与 latent 对齐（可用Set Latent Noise Mask）→ KSampler去噪（关键参数：Denoise Strength 0.6–0.8、Mask Blur 4–8 px、Inpaint Area: Only Masked、Steps 20–30、CFG 7–9）→ 解码输出。
• 适用：遮挡/破损修复、物体替换、局部属性编辑；通过调低 denoise 可“微调”，调高则“重绘”。
• 结构约束增强（ControlNet保持形准）
• 工作流要点：加载ControlNet Loader与相应预处理器（如Canny/HED/Depth）→ 生成条件图 → 在采样时以strength与start/end percent控制引导介入强度与时序（如“全程强约束”或“后半程介入”）。
• 适用：轮廓/深度/姿态等结构敏感任务，保证增强样本与原始结构一致，降低语义漂移。
• 风格与身份保持（IP-Adapter）
• 工作流要点：用IPAdapter Unified Loader加载模型与CLIP Vision → 以参考风格/人物图作为image输入，设置weight/weight_type/start_at/end_at → 注入生成流程。
• 适用：风格多样化、人物身份保持、跨域一致生成；可与 LoRA 叠加细化风格强度。

五、按场景的可复用流程模板

• 模板A 潜空间噪声增强（全局/局部）
• 目标：同一图像生成多版本，提升分布覆盖。
• 节点链：Checkpoint → VAE Encode → BNK_NoisyLatentImage/Inject Noise（可加 mask）→ KSampler → VAE Decode → Save。
• 调参要点：噪声强度从小到中等；局部增强用 mask 聚焦前景；必要时做多 seed 批量生成。
• 模板B 局部重绘增强（Inpainting）
• 目标：替换/修复局部，得到语义一致的多样化样本。
• 节点链：Load Inpaint Model → VAE Encode → Load Mask → Set Latent Noise Mask → KSampler（Denoise 0.6–0.8、Mask Blur 4–8）→ VAE Decode。
• 调参要点：小改动用低 denoise；整区重绘再提高；必要时加 ControlNet 稳定结构。
• 模板C 结构约束增强（ControlNet）
• 目标：在保持结构的前提下做风格/纹理变化。
• 节点链：ControlNet Loader + 预处理器 → 条件图 → 主模型采样（strength 0.6–0.85；start/end 控制介入时机）→ VAE Decode。
• 调参要点：高保真结构用较高 strength 与全程介入；艺术化改写可降低 strength 并延迟介入。
• 模板D 风格/身份引导增强（IP-Adapter）
• 目标：以参考图引导风格或身份，同时保持主体一致性。
• 节点链：IPAdapter Unified Loader → IPAdapter Advanced（设置 weight/weight_type/start/end）→ 主模型采样 → VAE Decode。
• 调参要点：先从低 weight 起步，逐步增加；身份任务可用 FaceID 版本；与 LoRA 叠加时注意总强度平衡。