教学型稀疏向量检索引擎


文档摘要

源文件:chapter3/sparse-embedding/README.md 教学型稀疏向量检索引擎 一个基于倒排索引和 BM25 算法的稀疏向量检索引擎教学实现。本项目通过详尽的日志与可视化特性,展示信息检索的基础概念。 特性 完整的 BM25 实现:完整实现 BM25 排序算法 高级分词:全面处理数字、代码、技术术语和混合大小写的分词器 倒排索引:用于词项查找的高效倒排索引数据结构 HTTP API:基于 FastAPI 构建的 RESTful API 交互式 Web UI:浏览器端的索引与检索界面 详尽日志:贯穿索引与检索全过程的详细教学日志 索引可视化:检查索引内部结构的 API 内存存储:为教学目的采用的简单内存存储 分词能力 TextProcessor


发布者: 作者: bojieli 转发
评论区 (0)
U