07 评估指标与数据集

第 7 章 · 评估指标与数据集

本章要回答的三个问题：生成的一批图"到底好不好、多样不全、贴不贴题"——这句话有没有可量化的说法？FID、IS、CLIP Score 这些缩写各量的是定义的哪一面、又各自骗不过人什么？评估生成模型少不了一堆参照数据，常用数据集各自的"种族"和用途是什么？

为什么会有这一章

前面六章都假设你"知道"模型该长什么样——但那只是直觉。落到选型、对比、写论文、验收，你得把"好/坏"翻译成数字。这一章补齐这套度量语言：先讲质量、多样性、忠实度三根评估主轴，再把被用滥的 FID / IS / CLIP Score 逐个拆开，看看它们分别咬住了哪一面、又在哪些地方容易骗人。最后把评估离不开的数据集摆上台面。它的意义在于：让你既能读得懂别人贴的表，也不再被单靠一个数字就拍板的结论忽悠。

这在画室主调里是"质检科"的章节——专治"我眼睛觉得还行"这种说不清道不明的模糊判断，把它变成"亮度多少、饱和多少、距今差距几何"的量化台账。

读完能解决什么

对照开篇三个问题：

• 你能说清生成质量、多样性、文本/图像忠实度三根评估主轴的用途与互补。
• 你会正确使用 FID（分布距离）、IS（质量×多样）、CLIP Score（语义对齐），并指出各自的盲区。
• 你会按任务挑数据集（人脸、街景、自然、图文对），理解数据集规模与分布偏差的现实意义。

各节怎么分工

一张评估清单的直觉

把三根评估主轴并排看，能看出它们其实是三双不同的"眼睛"：质量轴盯着"像不像真的"，多样轴盯着"会不会千图一面"，贴题轴盯着"听没听你的话"。三双眼睛没有谁可以取代谁，也没有谁能够单独鞠躬尽瘁。真实报告里的数字，几乎都是三双眼睛各看一角之后汇总出来的。所以当你拿到一份评测，先别急着认"最高分获胜"，而是先问一句：它量的是哪一根轴？量的是哪批题目、哪套基线？看懂这两问，你就解锁了"读评测"这门手艺。

自检：这一章能帮你回答什么

读这章你可以一边读一边对号入座：

• 我能说出"我的图到底好不好"应该先看哪根轴，而不是一拿到就喊"分数最高最牛"。
• 我能区分 FID 管分布接近、IS 管质量乘多样、CLIP Score 管语义对齐，并说出各自会骗人的地方。
• 我拿到一份公开基准，能先问"用的哪套题、哪条基线"，而不是直接采信排行。
• 我知道验证模型该用哪类数据集、怎么留出验证集，才不至于让分数虚高。

带着这些问题去读，这章就不是"背一串缩写"，而是"学会给任何一张结果图把脉"。

先决条件

• 承接前六章任意模型都能被评估，无需额外构造。
• 会看分布与统计量（均值、距离）的定性含义即可，不必会推导。
• 对"采集、偏好、分布偏差"这类词有一丝敏感。

评估的真正门槛：会下判断

评估这门手艺真正的门槛，不在会不会算某个指标，而在于"拿到任何指标后，敢不敢做判断、会不会被带偏"。一个分数永远无法完全取代"人眼看"，但它能帮你把"我觉得还行"这种含糊的直觉，锚定成可比较、可复现、可辩护的证据。学会这套语言，不只是写论文或做报告需要——你以后在真实项目里做"这个模型要不要换、这个版本值不值得上"的决策时，它就是你的裁判尺与底气所在。

往下走到哪

掌握了评估，你就有能力在第八章面对"模型的代价与边界"时做判断，比如知道所谓"鲁棒性变差"应该怎么用某个指标去验证。此外，第七章的评估语言也会在第九章对比工具与模型时成为你的"打分尺"。