第5章 · 高级特性与动态形状

第5章 · 高级特性与动态形状

章序导读

真实世界的推理场景从不按固定尺寸排版：手机相册里一张 1280×720 的自拍、车载摄像头捕获的 4K 环视流、医疗 CT 重建中跨度达 512×512×300 的三维体素序列——它们拒绝被裁剪、拒绝被填充、拒绝被降采样为统一的"标准答案"。本章所探讨的三项高级特性，正是 TensorRT 从"面向 Benchmark 的推理优化"迈向"面向真实物理世界的 AI 工程化"的分水岭：动态形状让引擎摆脱静态模具的桎梏，自定义插件让引擎接纳任何未知算子，多流与多上下文让引擎在并发洪峰中保持低延迟高吞吐。三者并非孤立技巧，而是共同构成一张"可重构铸模"：动态形状定义输入空间的弹性边界，插件定义计算语义的扩展通道，多流上下文定义执行资源的调度骨架。

学习目标

1. 掌握 OptimizationProfile 的 min/opt/max 三段式语义，能够用 C++ API 与 trtexec 命令行完成动态形状引擎的构建与验证。
2. 理解动态形状下三层内存模型（引擎元数据、运行时内存池、临时工作区）的运作机制，能够解释多剖面切换为何是常数级开销。
3. 弄清 IPluginV2 接口家族的职责划分，能够实现一个含 getOutputDimensions 与 serialize 的最小可用插件。
4. 掌握 CUDA Stream 与 Execution Context 的关系，能够设计"流池+上下文池"的两级弹性调度并避开多流内存契约的三大陷阱。
5. 具备结合业务场景选择并发范式的决策能力：单 Context 多 Stream（流水线）还是多 Context 多 Stream（请求级并发）。

章节地图

三节内容形成一条递进线索：5.1 解决"模型输入形状不固定怎么办"，5.2 解决"标准算子不够用怎么办"，5.3 解决"请求并发上来了怎么调度"。在实际工程中三者往往同时出现——一个支持动态 batch 的检测服务，通常同时部署自定义 NMS 插件，并以多 Context 多 Stream 支撑在线请求。建议以 5.1 为起点建立契约思维，再依次掌握插件接口与并发范式；若为现有静态服务做改造，可直接从 5.3 的调度方案入手获得即时吞吐收益，再逐步引入动态形状与自定义算子。

子章节

• 见本章各节文件名