文档摘要

多模态表征 多模态表征将视觉、语言与音频桥接到共享的嵌入空间中。本文件涵盖融合策略、CLIP、ALIGN、SigLIP、对比损失函数（InfoNCE、NT-Xent）、零样本分类以及检索评估。 想象你正坐在一家咖啡馆里。你看到桌上冒着热气的杯子，听到陶瓷碰撞的叮当声，闻到烘焙咖啡豆的香气，还感受到杯子传来的温热。任何单一感官都无法告诉你全部信息：你的大脑把这些信号融合成一个统一的「热咖啡」感知。多模态学习（multimodal learning）为机器做的事正是如此：它把来自多种模态（视觉、语言、音频等）的信息结合起来，从而构建出比任何单一模态都更丰富、更鲁棒的表征。 模态（modality）是信息的一种独立通道。

---