多模态评估

多模态评估

本节摘要:训练是循环的一半,另一半是测量。本节从原语建三个评估面:图文检索报 R@1/R@5/R@10;视觉问答报精确匹配准确率;图像字幕报 BLEU-4。每指标是模型输出上的函数加秒级跑的合成评估套件。诱惑是训练损失高原就宣多模态模型完成——训练损失测训练分布拟合,不测模型能否在留出批排名配对、答问、或写人能接受的字幕。三个评估面是标准:检索(R@K,建查询字幕联合嵌入、按余弦排每图、报匹配图是否落前 1/5/10)、VQA(精确匹配,给(图,问)输出答案 token,与参考比)、字幕(BLEU-4,生成字幕、对参考算 1~4 gram 精确率几何均值带短惩罚)。每指标是薄函数,本节全用代码建使数学具体、面在你控下。

对应原课程:Phase 19 · Lesson 63 · multimodal-eval(原英文 phases/19-capstone-projects/63-multimodal-eval/docs/en.md)。本节属「多模态/VLM」赛道第六节,也是本章最后一节。

学习目标

阅读完本节,你应当能够:

1. 从图与字幕嵌入的相似矩阵算 Recall@K。
2. 从映(图,问)到固定答案词表的模型算精确匹配 VQA 准确率。
3. 无任何外部库从生成与参考 token 序列算 BLEU-4。
4. 在第 60 节训后模型的合成套件上跑全部三评估。

一、问题与直觉

从相似矩阵算 Recall@K

建图与字幕嵌入间 (N,N) 余弦相似矩阵。每行按降序排列。Recall@K 是对角列索引落前 K 位的行分数。对称 Recall@K(字幕→图)在转置矩阵上算,两数都报。N=100 评估时,R@1=0.6 意味 100 字幕中 60 个检索到正确图为 top 匹配。

VQA 精确匹配

每(图,问,答):编码图、嵌问题、经解码器融合、读下一 token。预测 token id 与参考 id 比,等则对。集上取均。真 VQA 数据集每问带多人标注答案、用软精度公式(10 标注者至少 3 同意则 1.0,以下缩放);本节用单答精确匹配求清。

BLEU-4

BLEU-4 = BP * exp(mean(log p1, log p2, log p3, log p4))
​

p_n 是修正 n-gram 精确率(生成 n-gram 出现在任一参考的截断计数,除总生成 n-gram),BP 是短惩罚:

BP = 1                若生成长 > 参考长
   = exp(1 - r/g)     否则, r 参考长 g 生成长
​

小样本需平滑(某 p_n 为零)。实现用 Chen 与 Cherry「method 1」(任零计数分子分母加 1),低计数区最安全默认。多参考支持(一图多参考字幕)。

合成评估套件

从第 60 节同 mock 语料模式建内存中 50 样本套件,用留出种子。三列组:pairs(检索用 50 对)、vqa(50 三元组)、caps(50 条带至多 3 参考)。套件种子确定、与训练语料留出,故指标算在模型未见数据上。

50 步合成训练的指标预期不高,但预期超随机基线——demo 检的就是这。

二、从零实现

code/main.py 实现:

• recall_at_k(sim_matrix, k):两方向返 [0,1] 浮点。
• vqa_exact_match(predictions, references):返 int 等的均。
• bleu4(generated, references, smoothing=True):多参考支持。
• build_eval_suite(seed, n_samples, vocab_size, max_len):返三确定性评估列。
• evaluate(model, suite):跑全部三指标返数字字典。
• demo:载第 60 节新鲜初始化模型,评估,训 50 步,再评估,打前后指标表。

def recall_at_k(sim, k):
    N = sim.shape[0]
    ranks = sim.argsort(dim=1, descending=True)            # 每行降序
    diag_pos = (ranks == torch.arange(N).unsqueeze(1)).nonzero()[:, 1]
    i2t = (diag_pos < k).float().mean()                    # 图 -> 文
    ranks_t = sim.T.argsort(dim=1, descending=True)
    diag_pos_t = (ranks_t == torch.arange(N).unsqueeze(1)).nonzero()[:, 1]
    t2i = (diag_pos_t < k).float().mean()                  # 文 -> 图
    return {"i2t": i2t.item(), "t2i": t2i.item(), "mean": ((i2t+t2i)/2).item()}

def bleu4(generated, references, smoothing=True):
    precs = []
    for n in range(1, 5):                                   # 1~4 gram
        gen_ngrams = ngrams(generated, n)
        max_ref = Counter()
        for ref in references:
            ref_ngrams = Counter(ngrams(ref, n))
            for g, c in ref_ngrams.items(): max_ref[g] = max(max_ref[g], c)
        hits = sum(min(c, max_ref.get(g, 0)) for g, c in Counter(gen_ngrams).items())
        total = max(1, len(gen_ngrams))
        p = (hits + 1) / (total + 1) if (smoothing and hits == 0) else hits / total
        precs.append(p)
    bp = 1 if len(generated) > len(references[0]) \
         else math.exp(1 - len(references[0])/max(1,len(generated)))
    return bp * math.exp(sum(math.log(p) for p in precs) / 4)
​

code/test_main.py 覆盖:recall@k 在完美单位相似矩阵返 1.0、k<N 在翻转矩阵返 0.0;recall@k 尊 k<=N 上限;bleu4 在生成等于某参考时返 1.0、在不交词表返 0.0;VQA 精确匹配等对分数;build_eval_suite 返预期对/VQA/字幕数。

设计要点:recall@k 的「对角位」是关键——相似矩阵对角项是真配对,R@K 就是真配对落前 K 的行分数。BLEU-4 的短惩罚防「生成一句短而精确骗高精确率」。Chen-Cherry method-1 平滑防低计数区 log(0)=-inf 毁整个 BLEU。VQA 单答精确匹配是简化(真数据集软精度),但清且接口同——换软精度只改 vqa_exact_match 内部。三指标各薄函数,benchmark 无关,真数据集(MS-COCO/VQA v2)插同函数形状。

三、框架对比

每指标直映生产基准:检索(MS-COCO 5K val、Flickr30K、ImageNet 零样本都是同相似矩阵上的 R@K 问题,合成评估换真文件函数签名不变);VQA(VQA v2、GQA、OK-VQA 用同精确匹配形状,VQA v2 软精度替单答 EM);BLEU-4(MS-COCO 字幕、NoCaps、Flickr30K 字幕都用 BLEU-4 加 CIDEr 与 METEOR,加 CIDEr 是多一函数)。本节手写让你看清 recall 的对角位、BLEU 的短惩罚与平滑、VQA 的单答比——这些在用 pycocoevalcap(标准 COCO 评估库)时是黑盒。transformers 的 Trainer.evaluate、evaluate 库的 bleu/recall 是同数学的产品化封装。

四、可复用产物

code/main.py + code/test_main.py。demo 在 CPU 上约一分钟跑完:前后指标表显示检索从近随机升向模型学到的信号、VQA 升超随机、BLEU-4 升(合成结构够 4-gram 精确率升)。recall_at_k、vqa_exact_match、bleu4、build_eval_suite、evaluate 均可独立复用——任何「检索/VQA/字幕」多模态评估场景。换真数据集(MS-COCO/VQA v2),把 build_eval_suite 换真加载器,函数体不动。

五、练习

1. CIDEr:给字幕指标加 CIDEr(n-gram 上 TF-IDF 加权,奖信息性 token)。
2. 软精度 VQA:实现 VQA v2 软精度(每问多人答案,任匹配则 min(human_count/3,1))。
3. NaN 安全 BLEU:给 bleu4 加空生成序列不崩的变体。
4. MRR:在 R@K 旁算平均倒数排名(MRR 对正确项落何处敏感,R@K 对是否落前 K 敏感)。
5. 真基准:把 build_eval_suite 换 MS-COCO val(若可下载),在真数据上跑三指标。

本节要点回顾

1. 三评估面:检索 R@K、VQA 精确匹配、字幕 BLEU-4,覆盖排名/问答/生成。
2. recall@k 对角位:相似矩阵对角是真配对,R@K 是其落前 K 的行分数,双向(图↔文)。
3. VQA 单答精确匹配:预测 token id 等参考则对,真数据集用软精度但接口同。
4. BLEU-4 几何均值:1~4 gram 精确率几何均值带短惩罚,Chen-Cherry 平滑防 log(0)。
5. 合成套件留出:50 样本种子确定、与训练语料留出,指标算在未见数据。
6. 薄函数 benchmark 无关:换 MS-COCO/VQA v2 只换加载器,函数体不动。

本章至此完成。这 85 个毕业项目是检验你 AI 工程掌握程度的试金石——从终端编码代理到多模态 VLM,从单卡训练到分布式 FSDP,从提示工程到自主研究循环。下一章我们将进入(下一章主题)。