怎么评估SD合成数据质量

评估Stable Diffusion（SD）合成数据（生成图像）的质量，通常要从真实性、一致性、可用性、多样性、安全性几个维度来综合衡量。下面给你一套比较系统、可落地的评估框架，既适合研究也适合工程落地。

一、基础图像质量（单张图“像不像”）

1. 客观指标

• FID（Fréchet Inception Distance）

最常用，衡量生成图与真实图在特征空间的分布差异，越低越好。

• IS（Inception Score）

看清晰度和类别可分辨性，但对模式崩塌不敏感。

• KID（Kernel Inception Distance）

小样本更稳，比FID公平。

• PSNR / SSIM（如有参考图）

用于图像修复、可控生成等任务。

2. 主观评价

• 人工打分（1–5分）：清晰度、噪点、伪影
• 重点关注：
• 手指、文字、对称性错误
• 模糊、畸变、水彩化

二、文本–图像一致性（Prompt 对齐）

SD 是条件生成模型，核心看“听不听话”。

1. 自动指标

• CLIPScore / Image–Text Matching
• BLIP / LLaVA 打标后比对
• VQA 模型验证（如：图里有没有“红帽子”）

2. 人工评估

• 属性是否齐全（颜色、数量、位置）
• 是否存在“幻觉”（生成了没说的东西）

三、可控性与结构一致性

如果你用 ControlNet / LoRA / Depth / Pose：

• 边缘一致性（Edge / Canny 对齐）
• 姿态误差（Pose Estimation 对比）
• 分割 IOU（生成图与掩码区域匹配度）
• 几何变形程度（光流或关键点偏移）

四、多样性与覆盖度

避免“换汤不换药”：

• LPIPS 多样性
• 聚类分析（生成图特征聚类数）
• 类别覆盖矩阵（是否覆盖训练目标分布）
• 重复率检测（近重复图像比例）

五、作为训练数据的“可用性”（最关键）

如果合成数据用于训练别的模型：

1. 下游任务验证（Gold Standard）

• 用合成数据训模型 → 在真实测试集评测
• 对比：真实数据 / 混合数据 / 纯合成

2. 伪标签质量

• 用强模型标注合成图
• 标注一致率、置信度分布

3. 偏差与泄漏

• 是否泄露水印 / 提示词
• 是否引入 SD 特有偏置（如肤色、风格）

六、安全与合规

• NSFW 检测
• 版权 / 艺术风格侵权风险
• 偏见与刻板印象评估

七、轻量评估流程建议

1. 抽 1k–5k 张图
2. 跑 FID + CLIPScore
3. 人工抽评 200 张
4. 下游任务小实验
5. 迭代 prompt / 模型 / 后处理

如果你愿意，我可以：

• 给你一套 Python 评估代码模板
• 针对 某类任务（检测 / 分割 / 人脸识别）定制指标
• 帮你设计 合成数据训练实验方案

你现在的 SD 数据是用来做什么的？