文集文档索引

• 8.3 未来演进方向
• 8.3.1 自动化模型压缩与神经架构搜索（NAS）的结合
• 8.3.2 针对稀疏性（Sparsity）的硬件级加速应用
• 8.3.3 统一推理引擎对异构计算资源的调度
• 第八章：生态系统、挑战与未来趋势
• 8.1 兼容性与生态互操作性
• 8.1.1 ONNX Runtime 与 TensorRT Execution Provid...
• 8.1.2 硬件抽象层（Hardware Abstraction Layers）的演进
• 8.2 当前挑战
• 8.2.1 编译时间过长问题的工业界对策
• 8.2.2 算子支持不全的补齐路径
• 第七章：大语言模型（LLM）加速专题
• 7.1 TensorRT-LLM 架构演进
• 7.1.1 针对 Transformer 结构的深度优化
• 7.1.2 分散/聚合（Scatter/Gather）与 KV Cache 管理
• 7.2 关键加速技术
• 7.2.1 In-flight Batching（连续批处理）
• 7.2.2 Paged Attention 机制在 TensorRT 中的实现
• 7.2.3 多 GPU 张量并行（Tensor Parallelism）支持
• 6.2.2 Polygraphy：模型转换精度与结果校验工具
• 6.2.3 Trtexec：性能基准测试与瓶颈定位
• 6.3 部署框架集成
• 6.3.1 Triton Inference Server 中的 TensorRT 后端配置
• 6.3.2 DeepStream 视频分析流水线集成
• 6.1.2 Python API：快速原型开发与验证
• 6.2 性能分析与调试工具
• 6.2.1 Nsight Systems 与 Nsight Compute 的集成分析
• 5.2.3 编写高性能 CUDA Kernel 扩展 TensorRT
• 5.3 多流并行与多上下文
• 5.3.1 利用 CUDA Stream 实现并发推理
• 5.3.2 共享 Engine 与多 Execution Context 的线程安全
• 第六章：工程实践与部署优化
• 6.1 编程接口深度应用
• 6.1.1 C++ API：高性能生产环境首选
• 第五章：高级特性与动态形状
• 5.1 动态形状（Dynamic Shapes）处理
• 5.1.1 优化配置文件（Optimization Profiles）的定义
• 5.1.2 最小/最优/最大形状范围的设定
• 5.1.3 动态形状对内存分配的影响
• 5.2 自定义算子插件（Plugins）开发
• 5.2.1 IPluginV2 接口家族解析
• 5.2.2 插件的序列化与反序列化逻辑
• 4.3 训练后量化（PTQ, Post Training Quantization）
• 4.3.1 校准（Calibration）原理
• 4.3.1.1 熵校准（Entropy Calibrator - KL 散度）
• 4.3.1.2 最小最大值校准（MinMax Calibrator）
• 4.3.2 动态量化与静态量化的应用场景
• 4.4 强量化与新硬件特性
• 4.4.1 INT4 量化的探索与局限
• 4.4.2 NVIDIA Hopper 架构下的 FP8 推理支持
• 4.1 数值表示与精度损失
• 4.1.1 FP32, FP16, TF32 与 INT8 的性能对比
• 4.1.2 精度下降的数学诱因与缓解策略
• 4.2 量化感知训练（QAT, Quantization Aware Training）
• 4.2.1 伪量化算子（Fake Quantization）的插入
• 4.2.2 训练阶段的量化参数模拟
• 第四章：低精度推理与量化技术（Quantization）
• 3.1.2 水平融合（Horizontal Fusion）：相同输入不同算子的合并
• 3.1.3 结构性剪枝与冗余算子消除
• 3.2 内存复用与管理优化