Kubernetes集群搭建GLM-5.2推理环境实战
文集详情
文集导读
这是一本把 GLM-5.2 稳稳送上 Kubernetes 生产环境的实战小书。我们不堆概念，只讲能落地的路：从 GPU 如何在 K8s 里被调度、vLLM 为什么是首选框架，到 Deployment/Service 的真实 YAML、长上下文的显存账、MIG 与时间切片共享、压测找上限、灰度与监控回滚。全程围绕照抄会踩的坑展开——探针延时设错导致重启死循环、上下文拉满直接 OOM、多副本丢了会话上下文……每一个坑都来自真实部署血泪。