Colibrì · 第 9 章 CLI/服务/Web 全栈

Colibrì · 第 9 章 CLI/服务/Web 全栈

章节摘要:本章深潜 Colibrì 的用户接入层——CLI/服务/Web 全栈。coli 是用户面对的 CLI(chat/serve/web/plan/doctor);colibri/cli.py 是 Python CLI 入口;openai_server.py 是 OpenAI 兼容 HTTP 网关(/v1/chat/completions);resource_plan.py 是 RAM/VRAM 规划器(coli plan/coli doctor 背后);web/ 是纯 OpenAI-API 客户端的浏览器 UI;desktop/ 是 Tauri v2 桌面壳;docker 容器;continuous batching/grammar/speculative 全栈串联。本章末尾做全书回顾。本章共 3 节,前置依赖为第 1-8 章。

深潜坐标

学习目标

1. 认识 coli CLI 的子命令(chat/serve/web/plan/doctor)。
2. 理解 openai_server.py OpenAI 兼容网关。
3. 了解 resource_plan.py RAM/VRAM 规划。
4. 认识 web/ 浏览器 UI 与 desktop/ Tauri。
5. 总结全书九章机制深潜旅程。

子章节导航

01 coli CLI 与 resource_plan.py

coli chat(交互)/serve(服务)/web(web)/plan(规划)/doctor(诊断);colibri/cli.py Python入口;resource_plan.py RAM/VRAM规划(检测预算+后端→生成配置);coli doctor 环境诊断;setup.sh/install。

02 openai_server.py OpenAI 兼容服务

OpenAI兼容HTTP网关(/v1/chat/completions);流式SSE响应;continuous batching(decode_batch.h);grammar约束输出(grammar.h/schema_gbnf);speculative decoding(推测解码MTP/grammar-forced);kv_prefix复用跨请求。

03 Web/Desktop/Docker 全栈与全书回顾

web/纯OpenAI-API客户端浏览器UI(实时指标/硬件面板/专家层级);desktop/ Tauri v2桌面壳;docker容器镜像;全书9章机制深潜回顾(1权重JIT命题→2 safetensors量化容器→3专家流式缓存LRU→4多层级存储放置tier→5双SSD io_uring重叠→6MoE路由遥测→7KV持久化压缩→8CPU/GPU异构→9CLI服务Web全栈);Colibrì核心哲学(权重JIT+三级存储+诚实研究+纯C零依赖);建议读者下一步;不用过渡段作全书收尾。

前置知识与后续延伸

前置:前八章完整旅程。后续:全书结束,建议读者 make glm 跑通第一个模型,深入感兴趣的机制。