2.1.1 嵌入模型（Word2Vec、BERT、CLIP）

文档摘要

2.1.1 嵌入模型（Word2Vec、BERT、CLIP） 2.1.1 嵌入模型（Word2Vec、BERT、CLIP）：从词频统计到多模态对齐的工程实现全景图你有没有想过，当模型把“猫”映射为 $[0.82, -0.37, 0.19, \dots]$ 这一串384维浮点数时，它究竟在“理解”什么？不是语义标签，不是规则模板，而是一种可微分、可度量、可迁移的几何共识——这个共识，是数十亿词例反复博弈后沉淀下来的低维流形结构。嵌入（embedding）从来不是黑箱输出，而是模型与世界达成的一份隐式契约：相似的概念，在向量空间中必须彼此靠近；语义操作，应能对应空间中的平移或旋转；跨模态关联，则需在统一坐标系下完成拓扑对齐。