文档摘要

6.2 量化：AWQ、GPTQ 与 FP8 把字节砍下来 本节摘要：量化把权重与 KV Cache 的精度字节数从 FP16 的 2 字节压到 1 字节甚至 0.5 字节以内：AWQ 与 GPTQ 是训练后量化的两条成熟路线（INT4 为主），FP8 则是面向新一代硬件的在线格式。收益是三重的——权重显存减半以上、KV Cache 同步瘦身、decode 因搬运量下降而提速；代价是可控但真实存在的质量风险。 会员。《6.2 量化：AWQ、GPTQ 与 FP8 把字节砍下来》收录于灏天文库文集《vLLM》，原作者/来源：灏天文库，整理自「灏天文库」，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。本站整理收录，版权归原作者/开源协议所有。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---

作者与出处

原作者： 灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/828-vllm

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流