1.2 核心概念与术语

文档摘要

1.2 核心概念与术语在大模型推理工程化浪潮奔涌的今天，我们常被“吞吐量翻倍”“延迟降低70%”这类指标所吸引，却少有人驻足追问：当一个千亿参数模型被加载进GPU显存，它究竟以何种姿态呼吸？当数百个请求如潮水般涌来，系统又如何在毫秒级响应与显存资源之间走出一条精妙的平衡之径？vLLM不是一张性能对比表上的冰冷数字，而是一套重新定义大语言模型服务底层逻辑的系统性认知框架——它既是对传统推理范式局限性的深刻反思，也是对现代GPU硬件特性和LLM生成行为双重约束的精准回应。若将vLLM比作一座智能推理工厂，那么“核心概念与术语”便是这座工厂的设计蓝图、工艺标准与操作手册的统一体；它们不是孤立的名词堆砌，而是彼此咬合、相互证成的概念齿轮组，共同驱动着从请求输入到文本输出的全链路高效运转。