3.3 推理模式与调度策略

文档摘要

3.3 推理模式与调度策略 3.3 推理模式与调度策略：OpenVINO Runtime 中的时空协奏艺术在 OpenVINO Runtime 的宏大架构图谱中，若将模型加载比作“铸剑”，硬件抽象层（Plugin）是“锻炉”，执行上下文（InferenceEngine::Core / ov::Core）是“剑匣”，那么推理模式与调度策略，便是持剑者挥刃时的呼吸节奏、步法转换与攻防取舍——它不改变剑之形制，却决定剑势能否破空、能否连绵、能否于千钧一发之际斩断时间之流。这不是一个孤立的 API 选择问题，而是一场在计算资源、任务语义、物理延迟与系统吞吐之间展开的精密博弈；