LEANN中的归一化嵌入支持

文档摘要

LEANN 中的归一化嵌入支持 LEANN 现在能够自动检测归一化嵌入模型，并为实现最佳性能而设置合适的距离度量。什么是归一化嵌入？归一化嵌入是 L2 范数等于 1 的向量（即单位向量）。这些嵌入经过优化，更适合计算余弦相似度，而非最大内积搜索（MIPS）。由于归一化向量的长度恒为 1，余弦相似度等价于点积，因此在归一化空间中，余弦相似度和点积排序结果一致，但使用余弦距离（1 - 余弦相似度）作为度量能确保 HNSW 等近似最近邻算法的正确性和效率。