硬件专用推理编译:Blackwell 上的 FP8 与 NVFP4

硬件专用推理编译:Blackwell 上的 FP8 与 NVFP4

本节摘要:硬件专用推理编译用可移植性换吞吐,而 TensorRT-LLM——只跑 NVIDIA、专为 Blackwell 调优——是这个交易最赚的例子。在 GB200 NVL72 配 Dynamo 编排下,SemiAnalysis InferenceX 在 2026 年 Q1-Q2 测得:120B 模型每百万 token 只要 0.012 美元,而 H100 + vLLM 是 0.09 美元——7 倍的经济鸿沟。这套栈是三种浮点制式的叠加:FP8 对 KV 缓存和注意力内核仍不可或缺,因为它有这些算子需要的动态范围;NVFP4(4-bit 微缩放)处理权重和激活;多 token 预测(MTP)与分离式 prefill/decode 再加 2~3 倍。Day-0 模型支持可直接加载 FP4 权重,无需训练后转换。给 2026 工程团队的提醒是:TRT-LLM 开源但 NVIDIA 专属——CUDA 与 Blackwell 专门化,采纳它就是用可移植性换吞吐。承诺前先在你自己的模型与硬件组合上算清这笔账。

对应原课程:Phase 17 · Lesson 07 · 07-tensorrt-llm-blackwell(原英文 phases/17-infrastructure-and-production/07-tensorrt-llm-blackwell/docs/en.md)。

学习目标

阅读完本节,你应当能够:

1. 解释为什么即便权重已在 NVFP4,FP8 对 KV 缓存和注意力仍然关键。
2. 算出一个前沿模型在 BF16、FP8、NVFP4 下的 HBM 占用,并说清节省来自哪里。
3. 说出 TRT-LLM 利用的 Blackwell 专属特性(day-0 FP4、MTP、分离式服务、all-to-all 原语)。
4. 决定何时 TRT-LLM 的 NVIDIA 锁定值得那相对 Hopper 上 vLLM 的 7 倍成本鸿沟。

一、问题与直觉

2026 年推理经济的前沿问题是「每美元多少 token」。答案取决于四个叠加选择:硬件代际(Hopper H100/H200 vs Blackwell B200/GB200)、精度(BF16 → FP8 → NVFP4)、推理引擎(vLLM vs SGLang vs TRT-LLM)、编排(朴素 vs 分离式 vs Dynamo)。

在 Hopper + vLLM 上,120B MoE 跑约 0.09 美元/百万 token。在 Blackwell + TRT-LLM + Dynamo 上,同模型跑约 0.012 美元——便宜 7 倍。这鸿沟里,一部分是硬件(Blackwell 单 GPU 的 LLM 吞吐是 Hopper 的 11~15 倍),一部分是栈:FP4 权重、MTP draft、分离式 prefill/decode,以及为 MoE 专家通信准备的 NVLink 5 all-to-all。

你无法在 NVIDIA 栈之外复制它。这就是权衡——可移植性换经济性。理解哪一层栈贡献了鸿沟的多少份额,正是本节目的。

二、核心概念

为什么 FP8 仍是 KV 缓存的下限

2026 年的常见误区:以为 NVFP4 到处适用。并非如此。KV 缓存需要 FP8(8-bit 浮点),因为它存的是跨宽动态范围的注意力键值。把 KV 量化到 FP4 会造成灾难性精度损失——分布尾部掉下去,注意力分数坍塌。FP8 的指数位给了 KV 缓存它需要的范围。

NVFP4(2025-2026)适用于权重与激活。微缩放(microscaling):每个权重 block 有自己的 scale 因子,使小块能跨不同动态范围而不丢逐张量 scale 的精度。对激活,FP4 撑得住,因为激活在一层内是小范围的。

典型 Blackwell 配置:

• 权重:NVFP4(4-bit 微缩放)。
• 激活:NVFP4。
• KV 缓存:FP8。
• 注意力累加器:FP32(softmax 稳定性)。

TRT-LLM 利用的 Blackwell 专属原语

• Day-0 FP4 权重:模型提供方直接发布 FP4 权重,TRT-LLM 加载无需训练后转换。FP4 不走 AWQ/GPTQ 那一步。
• 多 token 预测(MTP):与 EAGLE(第 05 节)思路相同,但集成进 TRT-LLM 构建。
• 分离式服务:prefill 和 decode 在不同 GPU 池,KV 缓存经 NVLink 或 InfiniBand 传输。与 Dynamo(第 17 节)同思路。
• All-to-all 通信原语:NVLink 5 把 MoE 专家通信延迟相对 Hopper 砍 3 倍。TRT-LLM 的 MoE 内核为此调优。
• NVFP4 + MXFP8 微缩放:Blackwell 张量核上硬件加速的 scale 因子处理。

你该背的数字

• HGX B200 在 GPT-OSS-120B 上经 TRT-LLM:0.02 美元/百万 token。
• GB200 NVL72 经 Dynamo 编排 TRT-LLM:0.012 美元/百万 token。
• H100 + vLLM 在同等负载:约 0.09 美元/百万 token。
• TRT-LLM 在 2026 年三个月更新里 2.8 倍吞吐提升。
• Blackwell 单 GPU 相对 Hopper 的 LLM 吞吐:11~15 倍。
• MLPerf Inference v6.0(2026 年 4 月):Blackwell 霸榜所有提交任务。

FP4 在质量上到底要付什么

NVFP4 很激进。在推理密集工作负载(思维链、数学、长上下文代码生成)上,FP4 权重会肉眼可见地退化。逐 block 校准能缓解但消不掉。上线推理模型的团队常用「FP8 权重 + FP4 激活」折中,或干脆留在 H200 上全程 FP8。

规则:承诺 NVFP4 权重前,永远在你的评测集上验证任务质量。

为什么这是 NVIDIA 锁定决策

TRT-LLM 是 C++ + CUDA + 闭源内核。模型要为特定 GPU SKU 编译。没有 AMD、没有 Intel、没有 ARM。如果你的基建策略是多厂商,TRT-LLM 在「TRT-LLM 服务的那层」就是起步即出局——你仍可在混合硬件上用 vLLM 服务。如果你是 NVIDIA-only,那 7 倍鸿沟就为锁定买了单。

2026 实战配方

对年推理账单 1 亿美元以上的团队,留在 Hopper + vLLM 等于把 7~10 倍扔在桌上。把成本主导的工作负载迁到 Blackwell + TRT-LLM + Dynamo,把实验层留在 H100 + vLLM 保模型迭代速度。每个 NVFP4 转换的模型上线前都做质量验证。

分离式的加成

TRT-LLM 的分离式服务(prefill 与 decode 分池)在第 17 节深入。在 Blackwell 上,倍数是叠加的:FP4 权重 × MTP 加速 × 分离式放置 × 缓存感知路由。7 倍那个数字假设了全套栈。

三、从零实现:FP8/NVFP4 内存与成本计算器

原课程 code/main.py 跨三种栈计算 HBM 占用、decode 吞吐(内存受限档)与美元/百万 token:H100 + BF16 + vLLM、H100 + FP8 + vLLM、B200 + NVFP4/FP8 + TRT-LLM。下面给一个最小可读的内存占用与每百万 token 成本骨架。

def model_hbm(num_params_b, precision_bytes, kv_per_seq_gb=None, concurrency=0):
    """估算模型权重 + KV 缓存的 HBM 占用。

    参数:
      num_params_b:    参数量(十亿)
      precision_bytes: 每参数字节(BF16=2, FP8=1, NVFP4=0.5)
      kv_per_seq_gb:   单序列 KV 缓存 GB(可选)
      concurrency:     并发序列数
    返回: 总 HBM GB
    """
    weights_gb = num_params_b * precision_bytes
    kv_gb = (kv_per_seq_gb or 0) * concurrency
    return round(weights_gb + kv_gb, 2)


def cost_per_m_tokens(hbm_gb, hbm_bandwidth_tbs, active_params_ratio=1.0,
                      gpu_hour_cost=2.5, tokens_per_second=None):
    """粗估内存受限 decode 下的美元/百万 token。

    参数:
      hbm_gb:               实际需读取的权重 GB(按 active 参数)
      hbm_bandwidth_tbs:    HBM 带宽(TB/s)
      active_params_ratio:  MoE 激活参数占比
      gpu_hour_cost:        单 GPU 每小时成本(美元)
      tokens_per_second:    若已知实测吞吐,直接用
    返回: 美元/百万 token
    """
    if tokens_per_second is None:
        # 内存受限:每 token 需读一遍激活权重,tok/s ≈ 带宽 / 权重GB
        tokens_per_second = (hbm_bandwidth_tbs * 1e6) / (hbm_gb * active_params_ratio)
    dollars_per_hour = gpu_hour_cost
    tokens_per_hour = tokens_per_second * 3600
    return round(dollars_per_hour / (tokens_per_hour / 1e6), 4)


# 案例:Llama 3.3 70B,三种精度
for label, b, bw, cost in [("H100 BF16", 2, 3.35, 2.5),
                           ("H100 FP8", 1, 3.35, 2.5),
                           ("B200 NVFP4", 0.5, 8.0, 4.0)]:
    hbm = model_hbm(70, b)
    cpt = cost_per_m_tokens(hbm, bw, gpu_hour_cost=cost)
    print(f"{label}: 权重 {hbm} GB, 估算 ${cpt}/M token")
​

把数字换成你的真实模型与 GPU 小时价,你能看到 BF16 → FP8 → NVFP4 每一步各自贡献了多少成本下降。这正是把 7 倍鸿沟拆解到每层栈的方法。

💡 别只看「NVFP4 是 BF16 的 1/4」。在内存受限档,成本同时受带宽与 GPU 小时价影响——所以 B200 的 8 TB/s 带宽 + NVFP4 才是 7 倍鸿沟的真正来源,单靠精度只给 4 倍。

四、框架对比:三种栈横向对照

配套:vLLM(可移植、迭代快)、SGLang(前缀密集 + 可移植)、TRT-LLM(NVIDIA 极致吞吐,需编译)、Dynamo(TRT-LLM 之上的分离式编排)。

⚠️ TRT-LLM 的 7 倍不是「免费午餐」:它要求 NVIDIA-only、模型按 SKU 编译、每个 NVFP4 模型做质量验证。承诺前先算清你的模型矩阵与硬件预算。

五、可复用产物

本节产出 outputs/skill-trtllm-blackwell-advisor.md(原课程目录)。给定工作负载、模型大小、年 token 量,它决定 Blackwell + TRT-LLM 栈是否值得 NVIDIA 锁定:

1. 成本对比:H100 + vLLM vs B200 + TRT-LLM 的年成本与迁移回本周期。
2. 质量门槛:NVFP4 权重转换后必须通过的评测集与降分阈值。
3. 分层建议:成本主导层迁 Blackwell + TRT-LLM,实验层留 H100 + vLLM。
4. 锁定风险:若未来要多厂商,TRT-LLM 那层的退出成本。

六、练习

1. 跑通计算器:运行 code/main.py。对一个 30% 激活参数的 120B MoE,算 H100 BF16、H100 FP8、B200 NVFP4/FP8 下内存受限的 decode 吞吐。最大跃升来自哪?

2. 回本计算:某客户在 H100 + vLLM 上年花 200 万美元。给定 7 倍经济鸿沟,12 个月回本需要买多少块 Blackwell GPU?

3. 质量恢复:NVFP4 权重转换后 MATH 降 3 分。说出两条恢复路径:一条质量优先(留 FP8 权重),一条成本优先(用领域数据校准)。

4. 读 MLPerf:读 MLPerf v6.0 推理结果。哪个任务的 Blackwell-over-Hopper 鸿沟最小?为什么?

5. 算显存:算 405B 模型在 NVFP4 权重 + FP8 KV 缓存、128k 上下文下的 HBM 需求。单 GB200 NVL72 节点装得下吗?

本节要点回顾

1. $/token 由四层叠加决定:硬件代际、精度、引擎、编排,缺一不可。
2. FP8 是 KV 缓存下限:KV 跨宽动态范围,FP4 会让注意力坍塌,所以权重 NVFP4 但 KV 仍 FP8。
3. NVFP4 用微缩放:每权重 block 自带 scale,权重和激活都 4-bit,但 KV 不行。
4. 典型 Blackwell 配置:权重 NVFP4 + 激活 NVFP4 + KV FP8 + 注意力累加 FP32。
5. TRT-LLM 的 Blackwell 原语:day-0 FP4、MTP、分离式服务、NVLink 5 all-to-all。
6. 7 倍鸿沟:H100+vLLM 约 0.09 美元/M vs GB200+Dynamo 约 0.012 美元/M。
7. NVFP4 在推理任务上激进:思维链/数学/长上下文会退化,上线前必跑评测。
8. TRT-LLM 是 NVIDIA 锁定:C++/CUDA/闭源内核,按 SKU 编译,多厂商策略下不能用作主服务层。

下一节,我们把语言对齐到指标——看 TTFT、TPOT、ITL、Goodput、P99 这些推理延迟指标各自度量什么、互相如何制约,以及为什么「平均延迟」是最危险的简化。