文档摘要

第1章 大模型量化与本地推理入门 导读：为什么我们要把一个动辄数百 GB 的大模型搬回自己的显卡、甚至纯 CPU 内存上跑？这一章帮你建立三件基础认知——量化到底是什么、为什么 INT4 常常是实现本地推理的「甜点精度」、以及本地推理背后真实的硬件账本。读完本章，你应该能用一句话回答「我到底要不要量化、量化到什么程度」，并清楚本教程后续四章将带你走到哪里。 本章你将学到 本地推理的三类核心驱动力：隐私、成本、可控性 拦在本地推理面前的第一道墙：显存 量化的本质：用更窄的数值格式压缩模型 为什么 INT4 对大多数硬件是「甜点精度」 全书五章的阅读路线 动手前如何自检「我到底该不该本地量化」 一张一次算清的显存总账表 1.

---