3.1.4 `ov::InferRequest`:推理请求与内存绑定


文档摘要

3.1.4 :推理请求与内存绑定 在 OpenVINO™ 的运行时世界里, 不是接口,不是句柄,更不是抽象的“请求对象”——它是推理生命周期的主权实体,是模型、硬件、内存与时间四重契约的具象化身。当你调用 的那一刻,你并非申请一个“空转的容器”,而是在向 OpenVINO 运行时提交一份带有内存地址承诺、数据布局约束、同步语义声明和设备亲和策略的可执行契约书。它不负责模型加载,不参与图优化,也不管理设备上下文;


发布者: 作者: 转发
评论区 (0)
U