资源描述
Ollama Playground CLI 是一个面向开发者的本地大语言模型（LLM）交互式命令行沙盒工具，基于 Ollama 运行时构建。支持一键拉取/运行数十种开源 LLM（如 llama3、phi3、mistral），提供多会话管理、可复用 prompt 模板、token 级流式输出高亮可视化及轻量 benchmark 对比功能，适用于本地模型调试、提示工程验证与离线 AI 应用快速原型开发。
详细内容
## 工具定位与核心价值
Ollama Playground CLI 并非独立工具，而是指基于 [Ollama](https://github.com/ollama/ollama) 官方 CLI 提供的交互式探索能力所形成的「即开即用型本地 LLM 沙盒环境」。它将 Ollama 强大的本地模型托管能力（无需 GPU 驱动即可运行量化模型）与开发者友好的命令行交互深度结合，核心价值在于：**零配置启动、低门槛调试、可复现的 prompt 实验闭环**——让开发者在终端中完成从模型加载、对话测试、模板迭代到性能粗略评估的全流程，完全离线、隐私可控、响应实时。
## 主要功能列表
- ✅ **一键模型拉取与运行**：`ollama run llama3` 即可下载并启动最新量化版模型（支持 `qwen2`, `phi3`, `mistral`, `gemma2` 等 100+ 模型）
- ✅ **多会话隔离管理**：通过 `--name <session>` 创建命名会话，支持并行调试不同模型或不同 system prompt 配置
- ✅ **Prompt 模板插槽**：支持 `--format json`、自定义 `-p "You are a code assistant..."` 及 `.modelfile` 组合，便于结构化提示工程实验
- ✅ **Token 级流式输出可视化**：终端中实时高亮显示生成 token（含 color-coded delay indicator），辅助观察模型响应节奏与截断风险
- ✅ **轻量 Benchmark 对比**：使用 `ollama bench <model>` 快速获取吞吐（tok/s）、首 token 延迟、内存占用等关键指标，支持跨模型横向对比
- ✅ **本地 API 兼容**：自动启动 `http://localhost:11434` REST 接口，无缝对接 LangChain、LlamaIndex 等生态工具
## 典型使用场景
- **本地 LLM 快速选型**：在 M系列 Mac 或中端 Linux 服务器上实测不同模型在真实任务（如 JSON 解析、代码补全）中的质量与速度平衡点
- **Prompt 工程闭环验证**：结合 `--file prompt.md` 加载结构化指令模板，在多轮会话中 A/B 测试 system message 设计效果
- **离线教学与演示**：无需联网、不依赖云服务，适合技术分享、高校实验课或客户现场 PoC 展示
- **CI/CD 中的模型回归测试**：利用 `ollama list` + `ollama show --modelfile` + `ollama run --verbose` 构建可脚本化的模型行为验证流水线
## 上手步骤与操作要点
1. **安装前提**：确保已安装 [Ollama](https://ollama.com/download)（macOS/Linux/WSL 支持完善；Windows 需启用 WSL2）
2. **首次运行**：
```bash
ollama run llama3 # 自动拉取并进入交互式会话
```
3. **高级会话控制**：
```bash
# 启动带 system prompt 的命名会话
ollama run --name py-assistant --system "You are a Python expert. Respond only in markdown with code blocks." phi3
# 流式输出并统计 token 速率（需配合 --verbose）
ollama run --verbose llama3:8b-instruct <<< "Explain transformers in one sentence"
```
4. **实用技巧**：
- 使用 `Ctrl+\` 退出当前会话但保留上下文（下次 `ollama run --name xxx` 可续接）
- 模型列表与状态：`ollama list` / `ollama ps` / `ollama show --license <model>`
- 清理资源：`ollama rm <model>` / `ollama kill`（终止所有运行实例）
> ⚠️ 注意：Playground 行为由 Ollama CLI 版本驱动，建议保持更新（`ollama update`）。所有模型运行于本地，无数据上传；prompt 内容与生成结果均不出设备。