Stable Diffusion模型的训练技巧有哪些

Stable Diffusion 训练技巧清单
一 训练策略选型

• LoRA（Low-Rank Adaptation）：只训练少量低秩矩阵，文件小（通常几MB到几十MB）、训练快、显存占用低，适合快速适配特定人物、物体或风格，入门首选。
• DreamBooth：用少量样本（常见3–5张）让模型牢牢记住主体，同时能泛化到新场景；需控制学习率与步数，避免过拟合与灾难性遗忘。
• 全量微调（Full Fine-tuning）：训练全部参数，效果上限高但资源消耗大，适合专业深度定制与特定业务落地。
• 选型建议：数据少、追求效率与易分享优先选LoRA；要“记住这个主体”的强个性化选DreamBooth；有充足算力与数据再考虑全量微调。

二 数据与标注

• 数据质量优先：剔除模糊、过曝/过暗、低分辨率（<256×256）、带水印/无关文字的样本；尽量使用清晰、构图统一的图片。
• 分辨率与比例：与所用基础模型匹配，SD 1.x 常用512×512；若多为竖/横版，可用512×768或768×512，避免强行拉伸变形（可用中心裁剪/智能填充）。
• 目录结构与标注：推荐“一图一文”一一对应（如img001.jpg + img001.txt），文本描述要简洁明确、覆盖关键特征（主体、材质、光照、视角等）。
• 多样性与去重：覆盖多场景、多角度、多光照；用感知哈希（如 dhash）去重，避免模型“只记住某几张”。
• 数据增强：适度使用Caption Dropout（如 0.05–0.1）、Tag Shuffle等策略提升鲁棒性与泛化。

三 环境与显存优化

• 基础环境：Python 3.8+，建议独立 conda 环境；安装 PyTorch、Transformers、Diffusers、Accelerate、bitsandbytes、safetensors 等依赖。
• 混合精度与 8bit 优化：开启 FP16 混合精度显著提速并降显存；使用 8-bit Adam（bitsandbytes）进一步降低显存占用。
• 梯度累积：显存不足时通过梯度累积模拟更大 batch，稳定训练。
• 注意力优化：如可用，启用 xformers 内存高效注意力；推理/训练均可受益。
• 硬件建议：至少 10GB 显存可跑 LoRA/DreamBooth 小样本；推荐 16GB+ 更稳，复杂风格/主体建议更高规格。

四 关键超参数与训练流程

• 学习率与优化器：LoRA 常用 1e-4 ~ 5e-4，从 1e-4 起步观察 loss 曲线再微调；DreamBooth 建议更低学习率与适度步数；优先 AdamW 8bit。
• Batch Size 与梯度累积：显存不足时用小 batch + 梯度累积保持等效批量与稳定性。
• 训练步数与评估：以验证集/采样图为准，保存多个检查点，选择“风格一致、细节还原、不过拟合”的最佳权重。
• 正则与先验保持：DreamBooth 建议开启先验保持损失（Prior-preservation loss），用类别提示词生成约 200–300 张同类别样本混入训练，缓解灾难性遗忘。
• 典型 LoRA 起点配置（示例）：Rank 32/64、Alpha 取 Rank 的一半（如 16/32）、LR 1e-4、Batch 1–4、Max Train Steps 1000–3000（约 2000 张图时从 1500 起步）、每 500 步保存一次检查点。
• 训练目标与流程要点：扩散训练通常最小化“噪声预测的 MSE”；标准流程为加载预训练权重→准备数据与标注→配置优化器与学习率调度→训练循环与定期采样评估→保存与复用权重。

五 监控、评估与推理验证

• 监控与早停：观察训练/验证 loss与采样图质量，loss 剧烈震荡可降低学习率；出现明显过拟合（只能复刻训练图、对新 prompt 不敏感）应提前停止或回退检查点。
• 选择最佳权重：不要只取最后一个 checkpoint，使用与训练集相似的 prompt（含触发词）在 WebUI/ComfyUI 中批量对比，综合看风格一致性、细节还原、泛化能力。
• 推理验证：用代表性 prompt 做多 Seed 变体测试；必要时调整 CFG Scale、采样步数、调度器；若显存紧张，可启用注意力切片与 float16 推理。
• 分辨率一致性：训练与推理分辨率尽量一致；若需更大尺寸，优先在推理端做放大/高清修复，避免训练时强行学习大尺度分布导致不稳定。