Local LLM RAG with Dify

本资源提供基于 Dify 与 Ollama 的完全本地化 RAG 工作流方案，实现企业知识库的私有化部署与智能问答。通过全链路离线运行，彻底杜绝数据外泄风险，完美契合金融、医疗及政务等对数据隐私要求极高的场景。内置标准化检索增强生成节点，支持自定义分块策略与提示词工程，助力开发者快速搭建安全、高效、可定制的本地 AI 应用系统。

## 工作流概述 本工作流整合 Dify 可视化编排平台与 Ollama 本地大语言模型引擎，构建端到端的 Retrieval-Augmented Generation (RAG) 流程。用户无需依赖云端 API，即可在自有硬件上完成文档解析、向量检索、上下文组装与大模型推理，适用于企业内部知识库、敏感业务问答及离线 AI 助手开发。 ## 分步骤操作指南 ### 步骤 1：基础环境部署 - 安装 Docker 并拉取 Dify 官方镜像，按文档初始化 PostgreSQL 数据库与 Redis 缓存服务。 - 在本地服务器或工作站安装 Ollama，启动后台服务（默认监听 http://localhost:11434）。 - 下载适配硬件的开源模型（如 qwen2.5、llama3.2、mistral），执行 ollama pull <model_name> 完成本地加载。 ### 步骤 2：配置 Dify 模型接入 - 登录 Dify 控制台，进入「工具」>「模型供应商」，添加新供应商并选择「Ollama」。 - 填写 Base URL（容器环境推荐 host.docker.internal:11434 或宿主机局域网 IP）、API Key（可留空）及对应模型名称。 - 点击「验证」测试连通性，系统将自动同步已下载的本地模型列表供后续节点调用。 ### 步骤 3：知识库上传与向量化处理 - 创建专属数据集，批量上传 PDF、Word、Markdown 等企业文档。 - 配置文本分段规则（Chunking）：推荐采用“自动模式”或“固定长度+重叠”，设置 Chunk Size 为 500-1000 tokens，Overlap 控制在 10%-20% 以保留语义连贯性。 - 选用轻量级本地 Embedding 模型（如 nomic-embed-text 或 bge-m3），触发全文索引构建，等待向量入库完成。 ### 步骤 4：搭建 RAG 核心工作流节点 - 进入「工作流」画布，拖入「开始」节点定义输入参数（如 query）。 - 添加「知识库检索」节点，绑定目标数据集，设置相似度阈值（Threshold 约 0.6）与返回 Top-K 数量（建议 3-5）。 - 插入「大模型」节点，选择 Ollama 已接入模型，在 System Prompt 中拼接检索上下文（使用 Dify 变量语法 {{knowledge.content}}）。 - 配置「结束」节点输出最终响应，保存版本并发布为可用状态。 ### 步骤 5：测试验证与 API 集成发布 - 在工作流调试面板输入典型业务问题，观察检索召回精准度与回答逻辑，针对性优化 Prompt 模板或分段参数。 - 调试通过后点击「发布」，系统生成唯一 WebApp 访问链接或标准 RESTful API Endpoint。 - 通过 HTTP POST 请求携带 JSON 负载调用接口，实现与内部 OA、CRM 或自研系统的无缝对接。 ## 注意事项与最佳实践 - **硬件资源规划**：本地推理重度依赖 GPU 显存，建议至少配备 8GB+ 独立显卡以流畅运行 7B-13B 参数模型。纯 CPU 环境请务必选用 GGUF 量化版模型并预留充足内存。 - **Embedding 选型对齐**：确保向量化模型与生成模型的语系特征一致（如中文垂直领域优先选用 bge-m3），避免跨语言语义映射偏差。 - **防幻觉 Prompt 设计**：在系统指令中强制限定回答边界，追加“若检索上下文中未提及答案，请明确告知‘暂无相关信息’，严禁自行推断或编造事实”等约束语句。 - **索引维护机制**：业务文档迭代后需手动触发重新索引，或利用 Dify 定时任务保持知识库时效性，避免陈旧数据干扰决策。 ## 常见问题提示 - **Q: Dify 提示连接 Ollama 失败？** A: 检查防火墙是否拦截 11434 端口；若 Ollama 部署于 Docker 容器内，Base URL 必须替换为宿主机可达地址（如 http://host.docker.internal:11434）。 - **Q: 检索结果不相关或响应延迟极高？** A: 适当下调相似度阈值（如 0.5）扩大召回面；排查 Chunk Size 是否过大导致关键信息割裂；尝试切换计算效率更高的 Embedding 模型。 - **Q: 模型输出被意外截断或 JSON 格式错误？** A: 在大模型节点显式设置 max_tokens 上限；若启用流式传输，客户端需正确解析 SSE 事件流；检查 Prompt 中是否混入非法控制字符。 - **Q: 如何实现多轮对话上下文记忆？** A: 在工作流中引入「会话历史」变量节点，将前序轮次的 User Query 与 Assistant Response 动态注入当前 Prompt，Dify 原生支持 Conversation History 自动挂载。