第四章 · 从零跑通：编译、下载与第一次推理

第四章 · 从零跑通：编译、下载与第一次推理

章节摘要：本章跟着一次完整的「从零到有」走：在一台干净的 Windows 机器上编译出 llama-cli，挑对并校验模型文件，跑通第一次推理，然后把全程可能撞上的报错一次排光。这是全书动手含量最高的一章——跟着做完，你就拥有了一个完全属于自己的、不依赖任何第三方壳的本地推理环境。

一条主线

主线是一次两小时的装机实录：2060 小本重装系统后的第一个周末，从空空如也到能在命令行里流式输出模型回答。主线分四段：编译（4.1）——装构建工具链、拉源码、开 CUDA 选项、产出可执行文件；选型与下载（4.2）——在第 3 章结论的指导下选定 Q4_K_M 档位文件并完成三关校验；首航（4.3）——用最小参数组合跑通，再逐个打开关键参数观察行为变化；排错（4.4）——把前四段里每一步可能翻车的现场做成排错手册。主线的设计哲学是「先走通、再走好」：首航阶段刻意用最朴素的参数，把调优全部留给第 5、6 章。

沿途站点

4.1 Windows 下 CMake 编译实录——预编译发布包适合多数人，但要有自己的构建：CPU 指令集优化、CUDA 后端开关、调试符号，都只在自编译时可控。这一节记录每条命令与每段编译日志。

4.2 模型下载与校验——承接 2.3 节的三关校验流程，落到「第一次下载」的具体决策：从哪选文件、选多大、下完先做什么。

4.3 llama-cli 首航——把最常用的十几个参数一次讲透：模型、上下文、温度、生成上限、交互模式。每个参数都配上「改了会怎样」的对照描述，而不是查表式的定义罗列。

4.4 报错排错实录——六个真实翻车现场：编译失败、加载崩溃、显存不足、输出乱码、速度异常、中文 token 异常。每个现场给出症状、根因与修法。

拐点与结论

本章的拐点藏在 4.3 的首航体验里：很多人第一次跑本地模型的震撼不在于「模型多聪明」，而在于整条链路全部握在自己手里——可执行文件是自己编译的，模型文件是自己校验的，生成参数是逐个试出来的。这种掌控感是封装壳给不了的，也是后续一切调优实验的信心来源。另一条重要结论由 4.4 归纳：本地推理的报错九成集中在「文件不完整、显存不够、版本不匹配」三类，排错时先对号入座再细查，能省下大半时间。

首航环境清单

动工前先把环境盘一遍，四样齐备再开工：编译器（Visual Studio 生成工具加 C++ 桌面开发工作负载）、构建系统（命令行可直接调用）、GPU 工具链（仅启用显卡后端需要，版本须与驱动匹配）、版本管理工具（拉源码与检出标签）。磁盘预留建议：源码与构建产物约 5GB，模型文件按第 3 章档案预留 10 至 25GB。清单全绿后，4.1 到 4.3 的主线大约两小时走完。

本章知识点清单

可考核知识点如下：列出编译三阶段的输入与产物；说出配置日志里后端识别行的意义；执行下载三关（哈希、头部分析、首跑）并说明各自拦截什么问题；默写首航所需的约八个核心参数及语义；描述一次推理的两阶段生命周期；把任意报错归入文件、显存、配置三大类并给出第一处置动作；说出 0.5B 小模型在排错流程中的试金石作用。七条过关，从零跑通章节毕业。

读完你应该

• 能独立完成一次开启 GPU 后端的源码编译，并说清每个构建开关的取舍；
• 能按显存预算选定模型档位并完成哈希、头部、首跑三关校验；
• 能脱离文档默写首次运行所需的七八个核心参数；
• 能根据报错信息把故障归入三大类并按手册处置；
• 拥有一个随时可复现、可迁移的本地推理基线环境。

时间预算

给首次走完全章的读者一个时间预期：编译约二十到三十分钟（含工具链安装则另加半小时）、模型下载视带宽半小时上下、首航与参数实验约半小时、排错手册通读十五分钟。全程预留一个下午从容完成——比这个快很多的人要么硬件更好要么跳过了实验，而实验才是本章的真章。

下一章的接力

跑通只是起点。同一个模型在同一台机器上，参数不同速度能差十倍。第 5 章开始「走好」：把 offload 层数当成旋钮做扫描实验，算清权重、KV 缓存、计算缓冲三本显存账，找到这台机器的速度拐点。