5.3.1.2 推理引擎集成

文档摘要

5.3.1.2 推理引擎集成 5.3.1.2 推理引擎集成：当 ONNX Runtime 的在多卡推理中静默降级为 CPU —— 一次真实故障的解剖与可复用的防御性初始化方案你有没有遇到过这样的时刻？模型在单卡上跑得飞快，，，一切如预期般丝滑；可一旦把的从改成，或简单地调用，服务进程不报错、不崩溃、不告警——它只是……悄悄地、彻底地，退回到 CPU 上执行。显示 GPU 利用率恒定为，却疯狂占用 12 个 CPU 核心；日志里没有，没有，甚至没有一句 warning；你反复检查、，它们都坚定地告诉你：“CUDA is ready.” 可真相是：你的推理引擎，正在用最昂贵的硬件，干着最廉价的活。这不是玄学。这是 ONNX Runtime 在 v1.