第五章 总结与展望：从能用到用好

第五章 总结与展望：从「能跑」到「用好」

导读：走到这里，你已经拥有一套能生产化的 GLM-5.2 推理服务。最后一章不堆新概念，而是帮你把前四章串成一条可复用的能力线，并回答两个常被追问的问题：这条路以后怎么演进？以及，踩过的坑能不能变成一份「避坑清单」让后来的人少走弯路。

5.1 全景回顾与避坑清单

回看整条路线：地基（集群+GPU 注册+框架选型）→ 主体（存储+Deployment+Service）→ 原理（KV Cache+长上下文账+GPU 共享）→ 实战（压测+灰度+监控）。这四层不是孤立章节，而是一条递进的能力链：底层不稳，上层全是危房。

把全教程反复强调的「真人踩坑点」收敛成一份清单，部署前逐条核对：

1. GPU 没注册成 nvidia.com/gpu → Pod 永远 Pending，先查 GPU Operator / device-plugin。
2. 探针 initialDelaySeconds 太短 → 大模型还没加载完就被杀，陷入重启死循环，按加载耗时设（常需数分钟）。
3. --tensor-parallel-size 与申请 GPU 数不一致 → 起不来或浪费卡。
4. --max-model-len 一上来拉满 1M → 长上下文显存爆炸 OOM，分级放开。
5. 权重在 Pod 内实时下载 → 重启慢且不可靠，用 PVC / 本地盘 + 亲和。
6. 镜像 CUDA 与驱动不匹配 → 找不到 libcuda，确保版本兼容并预热镜像。
7. 多副本无会话亲和路由 → 长对话上下文丢失，前面加 router 按 session/prefix 亲和。
8. 不压测就全量 → 盲飞，先出「并发/吞吐/延迟/显存」四联表。
9. 无监控无回滚演练 → 出问题束手无策，上线前演练 rollout undo。
10. 模型 repo 名称未核实 → 拉错仓库，部署前以智谱官方模型卡公布的 HF/ModelScope 路径为准。

这张清单的价值在于：它不是「知识点」，而是「检查项」。每次交付前过一遍，能挡掉 90% 的线上事故。

展望未来：这条路线还能怎么演进

技术上，几个值得跟进的方向：

• KV 缓存卸载与分层存储：把更长上下文的 KV 放到 CPU/本地盘，进一步突破显存上限，vLLM Production Stack 的 LMCache 集成会持续成熟。
• disaggregated prefill（prefill/decode 分离）：把「生成首个 token 的重计算」和「逐 token 解码」拆到不同实例，用不同硬件配比榨干算力，是大模型推理架构的新趋势。
• 国产算力适配：GLM-5.2 已做 Day-0 国产加速卡适配（如昇腾等），若你的集群是国产化路线，可关注对应后端的推理框架支持进度。
• 自动化容量：基于队列长度而非 CPU 的 HPA，配合预测式扩缩容，让服务在流量波峰前就完成扩容。

最后一句收尾：教程教的是「一条验证过的路」，但你的集群、你的流量、你的卡，才是真正的考场。把原理吃透、把压测做真、把监控补齐，你就不再依赖任何教程，而是能自己把下一个模型稳稳送上生产。 这，才是「从能用到用好」的真正含义。