6.2.2 Polygraphy:模型转换精度与结果校验工具


文档摘要

6.2.2 Polygraphy:模型转换精度与结果校验工具 在深度学习模型部署的漫漫长路上,我们常常遭遇一种令人窒息的“黑箱断层”:训练时精度惊艳的 PyTorch 模型,经 ONNX 导出、TensorRT 优化后,在嵌入式设备上推理结果却悄然偏移——输出 logits 差异达 $10^{-2}$ 量级,Top-1 准确率下跌 3.7%,而日志里连一行 warning 都没有。调试?从 PyTorch → ONNX → TRT 的每一段转换链路都像蒙着雾的玻璃管道:你看见输入进去,也看见输出出来,却无法确认中间哪一帧浮点计算被悄悄重排、哪一次量化缩放因子被误置、哪一层 fused activation 被错误启用了 RELU6 而非 RELU。


发布者: 作者: 转发
评论区 (0)
U