如何评估合成数据质量

评估合成数据质量是确保其可用性的关键步骤，需从真实性、多样性、实用性、隐私性等多维度综合考量。以下是系统化的评估框架、核心指标及实践方法：

一、评估维度与核心指标

1. 统计相似性（Statistical Similarity）

衡量合成数据与真实数据在统计分布上的一致性，是最基础的评估维度。

• 单变量分布匹配：
• 连续特征：使用KL散度（Kullback-Leibler Divergence）、JS散度（Jensen-Shannon Divergence）、Wasserstein距离（Earth Mover's Distance） 比较概率密度函数（PDF）；或通过可视化（直方图、Q-Q图）直观判断。
• 离散特征：使用卡方检验（Chi-Square Test） 比较类别分布，或计算类别频率差异（如合成与真实数据中“类别A”占比的差值）。
• 多变量相关性匹配：
• 计算特征间的皮尔逊相关系数矩阵（连续特征）或互信息矩阵（混合特征），比较合成与真实数据的相关系数差异（如平均绝对误差MAE）。
• 高阶依赖：使用最大均值差异（MMD, Maximum Mean Discrepancy） 或生成对抗网络（GAN）的判别器损失（若合成数据由GAN生成）评估联合分布相似性。

2. 多样性（Diversity）

确保合成数据不局限于真实数据的子集，避免过拟合。

• 覆盖度：
• 计算合成数据对真实数据特征空间的覆盖比例（如基于聚类：用K-Means对真实数据聚类，统计合成数据落在各聚类簇的比例）。
• 新颖性（Novelty）：合成数据中未出现在真实数据中的样本比例（需定义“相似”阈值，如欧氏距离<ε视为重复）。
• 熵值：计算合成数据特征的信息熵（连续特征需离散化），熵值越高多样性越强。
• 生成模型内在指标：如GAN的Inception Score（IS）（适用于图像）、Fréchet Inception Distance（FID）（图像/视频），或VAE的ELBO（证据下界）。

3. 实用性（Utility）

评估合成数据在实际任务中的有效性，即“能否替代真实数据完成下游任务”。

• 下游任务性能：
• 用合成数据训练模型（如分类、回归），在真实数据测试集上评估性能（如准确率、F1、RMSE），与“真实数据训练→真实数据测试”的基线对比（性能下降应控制在可接受范围，如<5%）。
• 交叉验证：若真实数据量小，可采用“合成+少量真实数据”训练，对比“仅真实数据”的性能。
• 特征重要性一致性：比较合成与真实数据训练模型中特征重要性的相关性（如Spearman相关系数），确保关键特征的影响未被扭曲。

4. 隐私性（Privacy）

若合成数据用于替代敏感真实数据，需确保不泄露原始隐私信息。

• 成员推断攻击（Membership Inference Attack, MIA）：训练一个攻击模型，判断某样本是否来自真实数据（攻击成功率越低，隐私性越强）。
• 属性推断攻击（Attribute Inference Attack）：尝试从合成数据中推断真实数据的敏感属性（如通过合成数据的非敏感特征预测真实敏感标签，准确率应接近随机猜测）。
• 差分隐私（Differential Privacy, DP）验证：若合成过程采用DP技术，需验证隐私预算ε（ε越小隐私性越强，通常ε<10视为安全）。
• k-匿名性（k-anonymity）/l-多样性（l-diversity）：检查合成数据是否满足k-匿名（每个样本至少与k-1个其他样本在准标识符上相同）或l-多样性（每个等价类中敏感属性至少有l个不同值）。

5. 领域一致性（Domain Consistency）

确保合成数据符合领域常识和物理约束。

• 逻辑规则检查：如“年龄>18”且“学历=小学”应被标记为无效；医疗数据中“血糖值”不能为负。
• 专家评估：邀请领域专家对合成数据的合理性进行抽样检查（如金融数据中“收入”与“消费”的关系是否符合常识）。

6. 稳定性（Stability）

评估合成数据质量的一致性，避免因随机种子或生成参数变化导致质量波动。

• 多次生成实验：用不同随机种子生成多批合成数据，计算核心指标（如下游任务性能、统计相似性）的标准差，标准差越小稳定性越强。

二、评估流程与实践步骤

1. 明确评估目标：根据使用场景（如模型训练、隐私保护、数据增强）确定优先级（如隐私场景需重点评估隐私性，模型训练场景需重点评估实用性）。
2. 选择基准数据集：用真实数据作为“黄金标准”，确保真实数据的质量（无噪声、无偏差）。
3. 多维度指标计算：结合自动化指标（如KL散度、下游任务性能）和人工检查（如专家评估、可视化）。
4. 对比实验：设置基线（如真实数据、其他合成方法生成的数据），定量比较优劣。
5. 迭代优化：根据评估结果调整合成模型（如GAN的训练轮数、VAE的隐空间维度）或预处理步骤（如特征归一化、隐私预算设置）。

三、常用工具与库

• 统计相似性：scipy.stats（KL散度、卡方检验）、sklearn.metrics（MMD、互信息）、matplotlib/seaborn（可视化）。
• 多样性：numpy（熵值计算）、scikit-learn（K-Means聚类）。
• 实用性：tensorflow/pytorch（下游模型训练）、shap（特征重要性分析）。
• 隐私性：art（Adversarial Robustness Toolbox，含MIA攻击实现）、opendp（差分隐私验证）。
• 专用合成数据评估工具：
• SDV（Synthetic Data Vault）：提供evaluate模块，自动计算统计相似性、实用性等指标。
• Synthcity：专注于医疗合成数据评估，支持隐私性和下游任务验证。

四、注意事项

• 避免单一指标依赖：需结合多个维度（如统计相似但多样性差的数据可能过拟合）。
• 真实数据偏差传递：若真实数据本身存在偏差（如类别不平衡），合成数据可能放大偏差，需额外评估公平性（如不同群体的性能差异）。
• 场景适配：图像合成数据需关注视觉质量（如FID），表格数据需关注列间依赖（如MMD），时间序列需关注时间动态（如自相关系数匹配）。

通过以上框架，可全面评估合成数据质量，确保其在实际应用中安全、有效、可靠。