4.1.3 权重压缩：FP16, BF16 与 INT4 (针对 LLM)

文档摘要

4.1.3 权重压缩：FP16, BF16 与 INT4 (针对 LLM) 在大语言模型（LLM）工程落地的战场上，权重压缩早已不是“锦上添花”的可选项，而是决定推理延迟能否压进200ms、显存占用能否从80GB砍到12GB、单卡能否部署7B模型的关键胜负手。我们常听人说：“FP16省一半显存”“INT4才是未来”，但若你真在Hugging Face Transformers里调后发现OOM依旧、或用加载INT4模型时遭遇 ——那一刻，理论与现实之间的沟壑，比Llama-3-70B的参数量还要深。今天，我们就扎进4.1.3 权重压缩：FP16, BF16 与 INT4（针对LLM）的底层褶皱里，不谈概念定义，不列对比表格，只讲你敲下每一行代码时，GPU究竟在做什么；