第一章 基础准备：集群、GPU与推理框架

第一章 基础准备：集群、GPU 与推理框架

本章导读：在把 GLM-5.2 真正跑起来之前，我们需要先把"地基"打牢。很多人一上来就照着网上的 Helm chart 部署，结果卡在 GPU 调度、镜像拉取、或者根本不知道该选哪个推理框架。本章不急着写 YAML，而是先把三件事讲透：你的 Kubernetes 集群到底需不需要、以及需要什么样的 GPU 支持；推理框架为什么我强烈建议选 vLLM；以及 GLM-5.2 这个模型本身的几个关键事实，避免你后面踩到"以为能跑其实跑不了"的坑。读完这一章，你应该能在一张白纸上画出从集群到推理服务的整体链路，并且清楚每一步要做什么、为什么这么做。

为什么这一章值得你认真读

我见过太多团队，推理服务上线前夜才发现：节点没有 GPU、GPU 驱动版本不对、模型权重在海外 HuggingFace 拉不下来、或者选的框架根本不支持 1M 上下文。这些问题如果在第一章就规划好，后面能省掉至少两周的救火。

所以这一章的定位很明确——它是你后面所有实战的地基，也是一张"避坑地图"。我把最容易翻车的地方都标了出来，你照着排查一遍，后面会顺很多。

上图是第一章要打通的整体链路：集群提供 GPU 调度能力，vLLM 把 GLM-5.2 跑成服务，最终通过兼容接口对外提供推理。

本章结构

• 1.1 集群与 GPU 准备：你的 K8s 需要什么 GPU 能力？Device Plugin、GPU Operator 怎么选？驱动与 CUDA 的坑在哪？
• 1.2 推理框架选型：vLLM / SGLang / TGI 横向对比，为什么 GLM-5.2 首选 vLLM，以及一张选型决策表。
• 1.3 GLM-5.2 模型档案：发布时间、协议、上下文长度、权重获取渠道，以及"哪些参数是官方公布的、哪些还需你自行核实"。

小结预告

第一章结束后，你会拿到一份"前置检查清单"，里面列了部署前必须确认的 8 个环境项。建议打印出来，逐条打勾——这是我踩过坑之后总结的最省事的办法。

上图是本章三节的知识脉络。下一节从最底层、也最容易被忽略的 GPU 准备讲起。