如何调试Stable Diffusion模型

调试 Stable Diffusion（SD）模型通常需要从数据、代码、超参、显存、生成质量几个维度入手。下面按“常见问题是啥 → 怎么定位 → 怎么解决”的结构给你一套实用调试思路。

一、先明确你在“调什么”

Stable Diffusion 相关调试通常分为几类：

1. 训练调试（微调 / LoRA / DreamBooth）
2. 推理调试（出图质量差、报错）
3. 模型结构调试（改 UNet / Attention / Sampler）
4. 工程调试（显存爆炸、速度慢）

二、训练阶段调试（最常见）

1. Loss 不降 / 震荡

可能原因

• 学习率太大或太小
• 数据质量问题（模糊、标注错）
• batch size 不合适
• 模型未正确加载预训练权重

调试方法

# 观察 loss 曲线
tensorboard --logdir logs/

• Loss 突然 NaN → 学习率过高
• Loss 一直不动 → 学习率过低或数据重复

建议

• 微调 SD：lr ≈ 1e-6 ~ 2e-5
• LoRA：lr ≈ 1e-4
• DreamBooth：正则图像不能太少

2. 显存爆炸（OOM）

调试方式

torch.cuda.memory_summary()

解决手段

• 开 gradient_checkpointing
• 用 xformers
• 减小 resolution（如 512→384）
• 用 LoRA 替代全量微调
• 开 mixed_precision="fp16"

3. 训练正常但生成图“不像”

排查顺序

1. 文本编码器（CLIP）是否正常
2. prompt 与图像是否对齐
3. 数据量是否太少（<20 张很危险）
4. 是否过拟合（生成图只像训练集）

调试技巧

• 每 500 step 固定 prompt 出图
• 对比 base model 和微调后模型

三、推理阶段调试

1. 直接报错

常见错误：

• CUDA out of memory
• shape mismatch
• KeyError: 'lora'

调试建议

import traceback
try:
pipe(prompt)
except Exception as e:
traceback.print_exc()

2. 出图质量差

3. Sampler 调试

常用组合：

• DPM++ 2M Karras（质量好）
• Euler a（变化多）
• UniPC（快）

调试时固定 seed，只改 sampler。

四、模型结构调试（进阶）

如果你是改 UNet / Attention：

• 用小数据集快速验证
• 打印中间 feature map 尺寸
• 用 torch.autograd.detect_anomaly()

with torch.autograd.detect_anomaly():
loss.backward()

五、推荐调试工具

• TensorBoard / Weights & Biases
• nvidia-smi
• torch.profiler
• diffusers 官方 example 脚本

六、最小调试模板（建议保留）

prompt = "a cat"
image = pipe(prompt, num_inference_steps=25, guidance_scale=7).images[0]
image.save("debug.png")

如果你愿意，可以告诉我：

• 你是训练还是推理
• 用的 SD1.5 / SDXL / 自训模型
• 具体报错或异常现象

我可以直接帮你定位到代码级问题。