Awesome Self-hosted AI：最佳自建AI工具清单

Awesome Self-hosted AI：最佳自建AI工具清单

开源大模型部署

Ollama（推荐）

最简单的本地大模型运行工具：

• 一键部署，无需GPU
• 支持数百种开源模型
• 本地API调用，隐私安全
• 自动量化优化

vLLM（高性能）

专为生产环境设计的高吞吐推理引擎。

向量数据库

Chroma

最简单的向量数据库，Python API简洁。

Qdrant

高性能、可扩展的向量搜索引擎，Docker一键部署。

Milvus

企业级向量数据库，支持十亿级向量。

RAG框架

LangChain

最流行的LLM应用开发框架。

LlamaIndex

专注数据索引的RAG框架。

PrivateGPT

开箱即用的私有文档问答系统。

Agent框架

AutoGen

微软的多Agent对话框架。

CrewAI

角色扮演式Agent系统。

推荐组合

个人学习：Ollama + Chroma + LangChain

小型团队：vLLM + Qdrant + PrivateGPT

企业生产：vLLM集群 + Milvus + 自研RAG