源文件:chapter3/retrieval-pipeline/README.md 带神经重排的混合检索管线 一个用于教学的检索管线,结合稠密嵌入、稀疏检索与神经重排,展示不同检索方法的长处与短板。 教学目标 本项目演示: 稠密 vs 稀疏检索:各自擅长什么、为什么 混合检索:组合多种检索方法获得更好结果 神经重排:用 transformer 模型对检索结果重排序 并行处理:跨多个服务高效地索引与检索 真实工程模式:面向生产的 API 设计与错误处理 架构 关键概念 稠密嵌入(语义检索) 模型:BGE-M3(多语言,1024 维向量) 优点: 语义相似(能找到相关概念) 跨语言检索(跨语言工作) 概念理解(处理同义词) 上下文感知(理解含义) 短板: 可能漏掉精确字符串 对代码 / ID