TensorRT加速推理

教程导读：TensorRT加速推理

一句话定位：TensorRT加速推理 体系化教程。本教程采用问题驱动叙事：从 SOURCE 原文出发，建立可检验的知识框架。

这门课解决什么问题

SOURCE 定义 TensorRT加速推理 的核心对象与边界。

深度学习模型训练完成，只是整个 AI 生命周期的起点。真正决定一个模型能否被投用到产线、车载域控制器或千万台边缘设备上的，是推理阶段的三组矛盾：一是内存墙，GPU 峰值算力已达数百 TFLOPS，而显存带宽只有 2TB/s 量级，权重与激活的反复搬运会吞掉九成计算周期；二是调度熵，框架级调度器面向通用性设计，算子粒度在毫秒级，而 GPU 最优执行单元是 warp 级指令流，粗粒度调度导致 SM 空转；三是精度冗余，FP32 对大量激活分布存在 4 至 6 位有效精度冗余，用 32 位去表达本质只需 INT8 的信号，等于用大炮打蚊子。本教程的全部内容，都是围绕这三组矛盾展开的：TensorRT 如何通过静态图编译、算子融合、内存复用、低精度量化与动态形状优化，把"能跑起来的模型"变成"在特定 GPU 上以可预测延迟、可验证精度、可控显存运行的生产级引擎"。

五条主线

本教程不是 TensorRT API 的流水账，而是按五条主线组织知识，每条主线都能独立回答一个工程问题。

学习路线

⚠️ 常见误区：把本教程当名词清单——每节至少含一项 SOURCE 独有事实、参数或命令。

💡 关键直觉：问题驱动 = 用可观测信号验证叙述，而非堆概念。

第一章到第五章讲了什么

1. 第1章 · TensorRT 概述与核心价值：回答"为什么需要推理加速"。从内存墙、调度熵、精度冗余三重摩擦讲起，界定 TensorRT 是 AI 计算栈中的"第三层编译器"——前端 PyTorch 捕获计算图，中间层 ONNX 做跨框架交换，TensorRT 负责面向异构硬件的最终执行编译。
2. 第2章 · TensorRT 核心架构与工作流程：打开引擎的"黑盒"。走一遍 Parser → Network Definition → Builder → Engine → Context 的完整生命周期，说明序列化与反序列化的时序语义。
3. 第3章 · 图优化与算子融合机制：理解性能从哪来。常量折叠、冗余消除、Convolution 与 BatchNormalization 的融合、内核自动调优（Kernel Auto-tuning）与内存池复用，构成编译期性能的三大支柱。
4. 第4章 · 低精度推理与量化技术：掌握精度与性能的权衡。数值表示、对称/非对称量化、量化感知训练（QAT）与训练后量化（PTQ）的完整校准流程，以及如何用验证集收敛量化误差。
5. 第5章 · 高级特性与动态形状：应对真实负载的最后一公里。Optimization Profile、自定义插件（Plugin）、多流并行与多上下文调度，让引擎从"单输入固定形状"走向"多形状弹性服务"。

章节概览

1. 1章 · TensorRT 概述与核心价值
2. 2章 · TensorRT 核心架构与工作流程
3. 3章 · 图优化与算子融合机制
4. 4章 · 低精度推理与量化技术（Quantization）
5. 5章 · 高级特性与动态形状

学习纪律：三条验收标准

• 可复现：每节给出的命令、参数与代码示例，都应当能在你自己的 GPU 环境上重复出量级一致的结果，例如 trtexec 输出的 Throughput 与 Mean Latency。
• 可验证：任何加速论断都要落到可测量的信号上——延迟、吞吐、显存占用、精度回退幅度。不要接受"大约快两倍"这种无法检验的说法。
• 可定位：遇到 FAIL 或性能不符合预期时，用 trtexec --dumpProfile 和 Polygraphy 逐层比对，找出是哪个算子、哪一层、哪种精度策略导致的退化，而不是整体回退。

快速上手：一个最小命令

先看一条最常用的 TensorRT 构建命令，后续各章会逐段拆解它背后的每一个环节。

# 将 ONNX 模型构建为 FP16 引擎，并输出性能基准
trtexec --onnx=resnet50.onnx \
        --saveEngine=resnet50_fp16.engine \
        --fp16 \
        --workspace=4096 \
        --minShapes=input:1x3x224x224 \
        --optShapes=input:8x3x224x224 \
        --maxShapes=input:16x3x224x224 \
        --avgRuns=50
​

命令执行后，日志中的 Throughput（单位 samples/s）与 Mean Latency（单位 ms）就是最直接的验收信号。本教程每章都会给出类似的"可执行即验证"素材。

端到端流程速览

在深入各章之前，先用一段 Python 代码把整个链路串起来。这段代码会在后面各章被反复拆解：第2章讲 create_builder 与 create_network 的生命周期，第4章讲 set_flag(INT8) 背后的量化机制，第5章讲 set_shape 对应的 Optimization Profile。

import tensorrt as trt

logger = trt.Logger(trt.Logger.WARNING)          # 日志级别：WARNING 只输出关键事件
builder = trt.Builder(logger)                    # 1. 构建器：持有全局配置
network = builder.create_network(                 # 2. 网络定义：静态计算图的容器
    1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
parser = trt.OnnxParser(network, logger)         # 3. ONNX 解析器：把 ONNX 图翻译进网络
with open("resnet50.onnx", "rb") as f:
    assert parser.parse(f.read())                # 4. 解析失败会返回 False 并打印算子缺失日志

config = builder.create_builder_config()         # 5. 构建配置：精度、工作区、动态形状
config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 4 << 20)
config.set_flag(trt.BuilderFlag.FP16)            # 6. 打开 FP16 混合精度开关
serialized = builder.build_serialized_network(network, config)  # 7. 构建并序列化 engine
with open("resnet50_fp16.engine", "wb") as f:
    f.write(serialized)                          # 8. engine 文件落盘，供生产环境加载
​

读懂这段代码，就等于拿到了整个教程的索引：每一个调用点，都对应后面某一章要展开的主题。建议读者在阅读各章时，随时回到这段代码，把新学的概念"挂"到具体 API 上，形成知识锚点。

常见问题速答

这六问几乎覆盖了初学者最容易卡住的入口。教程的每一章，都会以其中的某几个问题作为主线展开——先提出问题，再给出可验证的答案。