4.1 环境准备与工具选型：引擎/格式/硬件账本

文档摘要

4.1 环境准备与工具选型：引擎 / 格式 / 硬件账本读者读完这节，能带走的结论别一上来就下载模型。先算清显存账本、再选定「GGUF + llama.cpp」这条最稳的实战路线，最后把软件栈和工具链装齐——这三步做对，后面量化基本不会翻车。新手 90% 的挫败感来自同一个错误：兴冲冲下完几十 GB 权重，才发现显卡装不下，或者装下了但推理速度慢到不可用。这一节就是帮你把「能不能跑、跑得爽不爽、用什么跑」在动手前想明白。一、先算硬件账本：你的显存到底装不装得下本地推理的第一约束永远是显存（VRAM）。一个模型的「原始权重体积」和「量化后体积」差了数倍，而你的显卡只有固定的一池水。

4.1 环境准备与工具选型：引擎 / 格式 / 硬件账本

读者读完这节，能带走的结论

别一上来就下载模型。先算清显存账本、再选定「GGUF + llama.cpp」这条最稳的实战路线，最后把软件栈和工具链装齐——这三步做对，后面量化基本不会翻车。

新手 90% 的挫败感来自同一个错误：兴冲冲下完几十 GB 权重，才发现显卡装不下，或者装下了但推理速度慢到不可用。这一节就是帮你把「能不能跑、跑得爽不爽、用什么跑」在动手前想明白。

一、先算硬件账本：你的显存到底装不装得下

本地推理的第一约束永远是显存（VRAM）。一个模型的「原始权重体积」和「量化后体积」差了数倍，而你的显卡只有固定的一池水。先建立一张对照表，建立直觉：

显卡常见配置	可用显存	大致能装下的 INT4 模型规模	备注
入门独显（如 8GB 档）	~8 GB	7B~8B 级别 INT4	勉强够用，上下文不能开太大
主流独显（如 16GB 档）	~16 GB	14B~32B 级别 INT4	本地部署甜点区
高端独显（如 24GB 档）	~24 GB	32B~70B 级别 INT4	可兼顾较长上下文
双卡 / 大显存工作站	48 GB+	70B 级别 INT4	进阶玩家

flowchart TD A[我要部署的模型原始参数量] --> B{查显卡显存容量} B -->|8GB| C[锁定 7B~8B INT4] B -->|16GB| D[锁定 14B~32B INT4] B -->|24GB| E[锁定 32B~70B INT4] B -->|48GB+| F[可考虑 70B INT4] C --> G[显存不够? 降上下文/换更小模型] D --> G E --> G F --> G G --> H[确认后再下载权重]

关键提醒：显存不是只装权重。推理时还要留出 KV Cache（随上下文长度增长）、激活值、框架开销。第 3 章讲过 KV Cache 账本，这里实操时务必给上下文留余量——别把显存算满到 100%，留 10%~20% 更稳。

二、引擎与格式的对位：为什么实战首选 GGUF + llama.cpp

本地推理的「引擎 + 格式」有几条主流路线，它们不是谁高级谁低级，而是适用场景不同：

flowchart LR W[原始权重 safetensors] --> R1[GGUF 路线: llama.cpp] W --> R2[GPTQ / AWQ 路线: transformers + 对应 loader] W --> R3[EXL2 路线: ExLlama] R1 --> O1[CPU/GPU 通吃, 单文件, 生态最广] R2 --> O2[特定 loader, 集成训练栈方便] R3 --> O3[极致显存利用率, 仅 GPU]

我建议绝大多数本地部署从 GGUF + llama.cpp 起步，理由是：

单文件、易搬运：一个 .gguf 文件包含权重、分词器、对话模板，拷到别的机器直接跑，没有「缺配置文件」的烦恼。
CPU / GPU 混合推理：显存不够时，llama.cpp 能把部分层 offload 到 CPU 内存，让你在「慢一点」和「跑不起来」之间有一个可接受的折中——这是其他纯 GPU 路线没有的容错空间。
量化档位丰富：从 Q2_K 到 Q8_0、再到 Q4_K_M 这类「混合精度」甜点档，选择粒度细，调优空间大。
生态工具成熟：转换、量化、困惑度评测、本地服务器一条龙，社区文档多，踩坑容易搜到答案。

GPTQ / AWQ 路线在你已经深度绑定 Hugging Face transformers 训练栈时有价值；EXL2 在「显存抠到极致、只要 GPU 速度」时更强。但作为第一套能跑通的方案，GGUF + llama.cpp 的性价比最高。

三、软件栈安装：从 Python 环境到编译 llama.cpp

下面给出一条参考性的安装结构。工具版本迭代很快，具体命令参数请以你拉取版本内的说明或 --help 为准，我不替你臆造某一版本的精确输出。

典型的准备步骤是：

准备 Python 环境：建议用虚拟环境隔离，避免污染系统包。
拉取 llama.cpp 仓库：用 git 克隆官方仓库到本地。
编译 llama.cpp：主流方式是用带 GPU 支持的构建（如 CMake 开启相应后端），编译产物里会包含 llama-cli、llama-server、llama-quantize、llama-perplexity 等可执行文件。
可选 Python 绑定：若你更习惯用 Python 调用，可安装对应的 Python 包，但本章命令行实操以编译出的原生工具为准。

flowchart TD A[建虚拟环境] --> B[git 克隆 llama.cpp] B --> C[CMake 编译开 GPU 后端] C --> D[得到 llama-cli / server / quantize / perplexity] D --> E[可选: 装 Python 绑定] E --> F[环境就绪]

一个常见坑：只装了 Python 包却忘了编译原生后端，结果推理全跑在 CPU 上慢得怀疑人生。验证方法很简单——运行一次推理，看日志里有没有加载到 GPU 后端的提示；没有就回去检查编译选项。

四、工具链清单与职责

理清每个工具「负责哪一段」，你就不会在量化时找错命令：

convert（转换脚本）：把官方 safetensors 权重转成未量化的 F16 GGUF。它是量化工序的「上一站」。
llama-quantize（量化工具）：把 F16 GGUF 压成 Q4_K_M 等 INT4 档位，是本章主角。
llama-perplexity（评测工具）：用困惑度给量化结果做最低限度质量体检，回答「压完是不是废了」。
llama-cli / llama-server（运行）：前者命令行直接对话，后者起本地 HTTP 服务，方便接前端或自己写调用。

五、版本与时效提醒

量化工具链活跃度很高，命令名、参数、默认档位都可能随版本变化。我的建议是：把每个工具的 --help 输出当作当前版本的「事实来源」，本章给出的命令结构是真实可参考的骨架，但落到你机器上请以本机为准。涉及具体模型发布格式（如 DeepSeek 官方权重分片方式、分词器类型），一律以官方发布说明为准，不臆造。

六、动手前自检清单

出门（下载权重）前，逐项打勾：

已知自己显卡显存，并据此锁定了目标模型规模（见第一节对照表）
决定走 GGUF + llama.cpp 路线
已编译 llama.cpp 原生后端，且确认 GPU 后端可用
磁盘剩余空间 ≥ 原始权重体积 2 倍（中间文件 + 成品）
已准备好官方权重的获取方式（以官方渠道为准）

全部打勾，再进入 4.2 真正动手。

FAQ

Q：我只有核显 / 没有独显，还能玩吗？
A：能，但慢。llama.cpp 支持纯 CPU 推理，小模型（如 7B INT4）在好一点的 CPU 上能跑到勉强可用的速度。把它当成「能跑通、验证流程」的环境，别指望流畅对话。

Q：GGUF 和 GPTQ 我到底选哪个？
A：第一次部署、想省心、要可搬运——选 GGUF。已经深度用 transformers 训练栈、且只跑 GPU——再考虑 GPTQ/AWQ。

Q：显存刚好卡在边界怎么办？
A：优先降上下文长度（KV Cache 占显存大户），其次换更激进的量化档位，最后才考虑换更小模型。顺序别反。