灏天文库

向量与嵌入:把词变成坐标

作者: 灏天 · 收录于 算法与数学基础

内容摘要

 向量与嵌入 · 把词变成坐标 灏 灏天文库 · 算法与数学基础 第 6 期 · 连载中 算法与数学基础 · 第 6 期 向量与嵌入: 把词变成坐标 word2vec · words as coordinates "国王 − 男人 + 女人 = 女王"——这不是巧合,是 词嵌入 。每个词被映射成高维向量,相似词靠得近,关系词方向一致。词嵌入让机器第一次"理解"了语义,是所有现代 NLP 的起点。 ⏱ 约 10 分钟 🎯 用过 ChatGPT 但不懂词向量的人 📦 源:ht-zvec 01 一个反共识:词没有意义,向量才有 机器看不懂"国王"两个字,它只看得懂数字。词嵌入就是把每个词变成一串数字(向量),让"语义相似"变成"距离相近"。 国王 → [0.21, −0.43, 0.88, …] ∈ ℝ³⁰⁰ word2vec 的训练原理很朴素:一个词的向量,应该能预测它周围的词(Skip-gram)。训练完,向量空间里就出现了神奇的几何结构——"国王−男人+女人≈女王","巴黎−法国+中国≈北京"。 语义关系,被编码成了向量方向 。 词没有意义, 向量 才有 。

打开完整知识页 返回工坊集