通用工具调用 Demo


文档摘要

源文件:chapter2/localllmserving/README.md 通用工具调用 Demo 一个跨平台的 LLM 工具调用演示,使用标准 OpenAI 兼容 API。可在 Windows、macOS 和 Linux 上无缝运行,自动为你的系统选择最合适的后端。 🌟 特性 通用兼容:单一入口( )即可在所有平台上运行 自动后端选择: 在带 NVIDIA GPU 的 Linux/Windows 上使用 vLLM 在 macOS、Windows 或无 GPU 的 Linux 上使用 Ollama 标准工具调用:仅使用 OpenAI 兼容的工具调用格式 内置工具:天气、计算器、时间,且易于添加自定义工具 交互与示例模式:用示例测试或交互式聊天 🆕


发布者: 作者: bojieli 转发
评论区 (0)
U