第5章 生成式AI部署：把大模型装进边缘设备

第5章 生成式AI部署：把大模型装进边缘设备

本章要回答的三个问题：大语言模型这种「循环生成」的负载，为什么需要专门的扩展库支持？权重压到四比特、KV 缓存随对话增长、解码带宽打满——这三堵墙分别怎么拆？一台没有独显的边缘盒子，真的能跑起可用的对话服务吗？

为什么会有这一章

前四章的模型都是「一次前向出结果」的判别式负载，本章的负载完全不同：文本生成是一个循环——分词、前向、采样、再循环——中间还有一份随对话不断长大的 KV 缓存。静态图运行时对这种「变长加状态」的组合天生不友好，硬写循环又要把分词、缓存、采样全部自己造轮子。OpenVINO GenAI 扩展库就是为了把这个缺口补上：生成特有的部件打包成流水线组件，你面对的从「拼装生成器」变成「配置生成器」。

把这一章放进部署教程还有个现实理由：端侧大模型已经从「能不能」进入「值不值」的阶段，边缘盒子跑对话服务正在变成普通工程问题。它把前面所有章节的知识点逼到极限——量化的思想变形重生，调度的知识接受新指标检验，资源管理直接决定成败。走过这一章，前四章的理解会深一层。

读完能解决什么

对照开头的三个问题，读完本章你应当能：说清 GenAI 扩展库在 Runtime 之上补了哪些组件、各自解决生成负载的哪个难点，并用十行代码把一个对话模型跑起来；理解「只压权重」为什么成为大模型量化的主流、INT8 与 INT4 的代价区间在哪里、预填充与解码两段延迟为什么必须分开优化，并掌握前缀缓存这个多轮对话的关键杠杆；通过 5.3 节的完整复盘，掌握端侧大模型项目从约束定义、候选矩阵实测到资源切分的全过程方法，包括两条用事故换来的教训——资源切分先于调优、生命周期按天设计。

各节怎么分工

三节是「武器、打法、实战」的递进：先认识武器库，再学打法，最后看一场完整实战。5.3 节的每个决策都能在前两节找到出处，阅读时建议对照回查。

读完自测：五问检验

一问：文本生成负载的哪三个特征让静态图运行时不友好？GenAI 扩展库分别用什么组件接住它们。二问：大模型压缩为什么是「只压权重」而不是像判别式模型那样连激活一起压？激活侧的风险来源是什么。三问：用户抱怨「对话机器人回复太慢」，首字延迟与生成速率分别由哪个阶段决定？各自的第一优化动作是什么。四问：多轮对话的第二轮为什么比第一轮快？前缀缓存生效的前提条件是提示词怎么组织。五问：5.3 节的部署事故里，「资源切分」为什么排在「性能调优」之前？把那条教训扩写成一句能贴在评审会上的话。第三问与第四问是本章的实用担当——几乎所有端侧对话项目的优化讨论，都绕不开这两问。

本章高频追问

两个阅读前的高频疑问先答掉。一问：「不做大模型项目的读者要读这章吗？」——5.1 与 5.2 的知识有明确的迁移面：循环类负载(语音识别流式解码、序列标注)的部署思路与生成式同构，KV 状态管理的概念也在语音与时序模型里出现；就算短期不碰大模型，5.3 节的「约束先行、候选矩阵实测、资源切分」的项目方法也是全书最完整的一次示范。二问：「模型迭代这么快，这章会不会很快过时？」——模型会过时，本章刻意少写具体模型名、多写机制(两阶段延迟、缓存预算、压缩取舍)，机制的半衰期远长于模型；读的时候把注意力放在「为什么」上，「用什么」留给彼时彼刻的选型。

先决条件

需要第 1 章的设备知识与第 3 章的调度概念；5.1 节的代码需要安装 GenAI 扩展库；5.3 节复盘中出现的模型尺寸与数字来自真实设备，读者复现时按自己硬件换算。不需要大模型训练经验——本章全程是部署视角，训练与微调只在「什么时候该上 QAT 或蒸馏」的决策边界处提及。

往下走到哪

大模型这条支线走完，第 6 章回到工程落地主干道：不管模型是检测还是生成、跑在边缘还是云端，最终都要嵌进业务系统——多语言栈怎么选、服务怎么立、拓扑怎么定，还有一条把全书零件总装的视频流水线实战。