详细功能

✨ 详细功能

核心功能

• 实时嵌入 - 通过使用优化的 ZMQ 服务器和高度优化的搜索范式（重叠与批处理），结合高效的嵌入引擎，消除对繁重嵌入存储的需求。在查询时按需生成嵌入，显著降低存储开销。
• 基于抽象语法树的代码分块 - 针对 Python、Java、C# 和 TypeScript 文件，智能地进行代码分块，同时保留语义边界（如函数、类、方法），确保上下文完整性与检索相关性。
• 可扩展架构 - 在消费级硬件上可高效处理数百万文档；随着数据集规模增长，LEANN 能够实现更显著的存储节省，具备良好的线性扩展能力。
• 图谱剪枝 - 采用先进的图结构剪枝技术，在保持高召回率的同时，将向量搜索的存储开销降至最低，实现极小的内存与磁盘占用。
• 可插拔后端 - 默认集成 HNSW/FAISS 向量索引，亦可选配 DiskANN 以支持超大规模（十亿级）向量部署，满足不同场景的性能与成本需求。

技术亮点

• 重新计算模式 - 在最高精度场景下，完全避免向量存储，仅在查询时动态重新计算嵌入，实现零向量存储开销，适用于对精度要求严苛且存储受限的环境。
• ⚡ 零拷贝操作 - 通过在进程间通信（IPC）中仅传输距离分数而非完整嵌入向量，最大限度地降低数据复制开销，提升系统吞吐能力。
• 高吞吐量嵌入管道 - 利用动态批处理、流水线并行与 GPU/MLX 加速，优化嵌入生成流程，实现每秒数千次的高吞吐嵌入处理。
• 两级搜索 - 创新性地采用“粗粒度到细粒度”的两阶段搜索机制：先在压缩或摘要空间中快速筛选候选集，再在原始空间中精排，显著加速查询处理（可选启用）。
• 内存映射索引 - 支持将索引文件通过内存映射（mmap）直接加载，实现秒级启动，并将原始文本与元数据直接映射到虚拟内存，大幅减少运行时内存占用。
• MLX 支持 - 原生支持 Apple MLX 框架，利用其高效的量化嵌入模型（如 int4/int8）在 Apple Silicon 上实现超高速的嵌入重新计算与索引构建，显著加速本地开发与推理流程（最小示例）。

开发者体验

• 简洁的 Python API - 提供直观、一致的接口设计，用户可在几分钟内完成安装、索引构建与查询，快速集成到现有项目中。
• 可扩展的后端系统 - 模块化架构支持轻松集成新的嵌入模型、分块策略或向量索引算法，便于研究与定制化开发。
• 全面的示例 - 提供从基础用法（单文件索引）、高级功能（MLX 加速、两级搜索）到生产级部署（Docker、多节点扩展）的完整示例，覆盖各类使用场景。

免责声明：
本文档采用基于机器的 AI 翻译服务进行翻译。尽管我们力求准确，但请注意，自动翻译可能存在错误或不准确之处。应以原文语言版本的文档作为权威依据。如需获取关键信息，建议使用专业的人工翻译。对于因使用本翻译而产生的任何误解或误读，我们概不负责。