3.2.2.2 TensorRT EP:静态/动态引擎转换与集成


文档摘要

3.2.2.2 TensorRT EP:静态/动态引擎转换与集成 你有没有在深夜调试一个 ONNX 模型的 TensorRT EP 推理流水线时,突然发现——模型在 TensorRT EP 下输出全为 NaN,而 CPU EP 却稳如磐石? 你有没有反复核对 ,却始终无法触发 TensorRT 的子图切割? 你有没有把 加进 ,结果模型直接报错 ,然后盯着那行 发呆整整两小时? 这不是玄学。这是动态形状(dynamic shapes)与 TensorRT 引擎构建之间一场沉默而激烈的博弈——而胜负手,往往藏在一个被文档轻描淡写、却被实战工程师反复踩坑的细节里:Profile 绑定时机与 ONNX 输入符号名的精确对齐。


发布者: 作者: 转发
评论区 (0)
U